Боты и ИИ-краулеры в 2026 году: сколько их и кого закрывают в robots.txt

«Боты — уже большинство трафика» верно и неверно одновременно, и разница не в источнике, а в том, что считать. Cloudflare Radar в одну и ту же неделю (20–26 августа 2026 года) даёт два ответа:

По HTML-страницам разбивка подробнее: боты не-ИИ — 52,8%, люди — 38,1%, ИИ-боты — 5,7%, смешанного назначения — 3,4%.

Причина расхождения простая: люди тянут с сайта десятки картинок и скриптов на одну страницу, а краулер чаще берёт только HTML. Поэтому в пересчёте на запросы люди выигрывают, а в пересчёте на страницы — проигрывают.

Знаменатель обязателен. Любая цифра о доле ботов без указания, считались ли все запросы или только страницы, вводит в заблуждение — независимо от того, кто её опубликовал.

Cloudflare нашёл 4 365 файлов robots.txt среди десяти тысяч крупнейших доменов (данные на 24 августа 2026 года) и опубликовал порядок самых запрещаемых ИИ-агентов: GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider, meta-externalagent, Amazonbot, Applebot-Extended. Точные числа по каждому агенту у них закодированы в графике так, что однозначно снять их нельзя, поэтому приводим только порядок.

Мы посчитали то же самое на своей выборке — 600 хостов по 150 на зону, 27 августа 2026 года, с разбором групп по правилам RFC 9309 (подряд идущие строки User-agent делят один набор правил):

Оговорка, без которой таблицу читать нельзя: запрещающих сайтов в каждой зоне всего 4–10. При таких числах различить зоны между собой невозможно — разброс от 8,2% до 12,5% укладывается в случайность. Достоверно здесь только одно: примерно один сайт из десяти, у которого вообще есть robots.txt, закрывается от ИИ-краулеров, и это одинаково верно для всех четырёх зон.

Побочное наблюдение, которое числами подтверждается лучше: robots.txt у сайтов .ru встречается чаще, чем у .com — 97 против 85 из 150.

Мы посчитали, какие агенты вообще упоминаются в собранных файлах — не обязательно с запретом, а просто названы. Всего разных агентов оказалось 230. Верхушка списка (число сайтов из 600):

Семь позиций из десяти заняты ИИ-краулерами, и GPTBot обходит и Googlebot, и Яндекс. Это косвенно, но красноречиво: владельцы сайтов теперь чаще настраивают правила для машин, которые учат модели, чем для машин, которые приводят посетителей.

Отдельно про Яндекс: его агенты присутствуют во всех четырёх зонах, но в наших данных ни один сайт не закрывает от него доступ полностью — упоминания идут в связке с настройками индексации, а не с запретом.

В пресс-релизе Cloudflare от 13 июля 2026 года говорится примерно про 57% автоматизированных запросов, а в блоге от 1 июля — что «более 50% трафика в интернете теперь не человеческий». Ни там, ни там не указан период измерения, совокупность и методика, и обе цифры не сходятся с собственными данными Cloudflare Radar за те же месяцы (35,5% по всем запросам).

Есть и противоположный ориентир. Akamai — поставщик, коммерчески заинтересованный говорить обратное — оценивает ИИ-ботов почти в 1% от всего ботового трафика своей сети. Широко цитируемый «рост ИИ-ботов на 300%» считается именно от этой базы, но саму базу в пересказах не приводят.

Общее правило для этой темы: все доступные цифры — это замеры клиентских баз конкретных поставщиков, а не интернета. Cloudflare видит сайты за Cloudflare, Imperva — тех, кто купил защиту от ботов (то есть у кого уже была проблема), Fastly — свои приложения. Нейтрального измерения всего интернета не существует, и это стоит проговаривать вслух.

Посмотреть, что видит ваш собственный сайт, проще всего по логам. Проверить корректность самого файла можно в проверке robots.txt.