Как менялся ботовый трафик к 2026 году: один честный тренд и пять несводимых замеров

Большинство «динамик» в этой теме склеены из отчётов разных поставщиков с разными методиками — то есть не являются динамикой вовсе. Но одно сопоставление корректно: Cloudflare дважды опубликовал одну и ту же метрику — разбивку запросов HTML-страниц.

За девять месяцев люди перестали быть большинством среди тех, кто открывает страницы. Прирост при этом дали в основном обычные боты, а не ИИ: доля ИИ-краулеров выросла всего на полтора пункта.

Границы вывода: это сеть Cloudflare, а не интернет, и только HTML-запросы. В пересчёте на все HTTP-запросы (включая картинки и скрипты) боты за ту же неделю дают 35,5% — см. разбор знаменателей.

На вопрос «какой ИИ-краулер самый активный» единого ответа не существует. Замеры за пересекающиеся периоды:

Свести это в одно число нельзя, и причины понятны: разные отрасли у клиентов, разные схемы классификации (Fastly намеренно исключает обычные поисковые краулеры из класса «ИИ», Akamai агрегирует по владельцу, а не по строке User-Agent) и разные единицы счёта — срабатывания правил, запросы или обращения на сайт.

Отдельная осторожность к самим трендам поставщиков. Fastly в выпуске за III квартал 2025 года сообщал о 29% ботов, а в выпуске за январь 2026-го — о 49%. Скачок в двадцать пунктов между соседними выпусками одного отчёта скорее говорит о смене классификации, чем о реальном всплеске; объяснения источник не даёт.

Cloudflare классифицирует заявленную цель обхода. За 20–26 августа 2026 года: обучение — 39%, обучение и поиск вместе — 37,4%, поиск — 17%, действие пользователя — 4,7%, не заявлено — 1,9%.

Практический смысл понятнее из другой метрики — сколько страниц краулер забирает на одного присланного посетителя (та же неделя):

Разница между 5,6 и 816,8 — это, по сути, разница между поисковиком и обучающим краулером: первый берёт страницу, чтобы прислать за ней читателя, второй — чтобы читатель не понадобился.

Оговорка: атрибуция переходов опирается на заголовок Referer, который ИИ-клиенты отправляют непоследовательно. Соотношения верны по порядку величины, но не до десятых.

По данным TollBit за первое полугодие 2026 года — это логи 3 906 издателей — около 15% обращений ИИ-краулеров прошли мимо запрещающей директивы. По отдельным агентам доля выше: ChatGPT-User — 54% собственных обращений, Bytespider — 48%, PerplexityBot — 42%.

Важная оговорка самого источника: считаются только агенты, которые представляются честно, поэтому реальный объём выше измеренного.

Из этого следует практический вывод, который стоит проговорить прямо: robots.txt — это просьба, а не механизм принуждения. Если контент нужно закрыть по-настоящему, это делается на уровне сервера — ограничением по User-Agent и диапазонам адресов, а не строкой в текстовом файле. Файл при этом всё равно нужен: он фиксирует вашу позицию и его соблюдает большинство.

Проверить, что ваш файл вообще разбирается так, как вы задумали, можно в проверке robots.txt.

Данные Vercel про ИИ-краулеров датированы декабрём 2024 года. Их цифры (GPTBot 569 млн, Claude 370 млн, PerplexityBot 24,4 млн против Googlebot 4,5 млрд) — самые перепечатываемые в этой теме, им около двадцати месяцев, и нового исследования Vercel не публиковал.

Отчёты Imperva 2026 года содержат данные 2025-го. Публикация в апреле 2026-го, период измерения — календарный 2025 год: боты 53% (против 51% в 2024-м), вредоносные 40%, безвредная автоматизация 13%. Подавать это как замер 2026 года неверно.

Часть цифр закрыта или не имеет методики. У Kasada отчёт 2026 года платный, а публичные заявления не содержат ни периода, ни совокупности. Барракуда ничего свежее апреля 2025-го не публиковала, и там выборка — три веб-приложения.

Общий признак надёжной цифры в этой теме простой: указаны период измерения, размер и состав совокупности и единица счёта. Если хоть одного из трёх нет — цифру лучше не переносить к себе.