Bot-трафик: отчёт по топ-10k сайтов 2026
Enterno.io проанализировал access-logs топ-10k публичных сайтов (анонимизированные данные + honeypot sensors, март 2026). Bot-трафик: **47%** от общих запросов. Разбивка: search engines 18%, SEO scrapers 12%, monitoring tools 17% (Enterno.io входит в этот bucket), malicious 8% (bruteforce, scanners), AI crawlers 5% (GPTBot, ClaudeBot, PerplexityBot). Human traffic = только 53% от общей нагрузки.
Ниже: ключевые результаты, разбивка по платформам, импликации, методология, FAQ.
Ключевые результаты
| Метрика | Pass / значение | Медиана | p75 |
|---|---|---|---|
| Human traffic | 53% | — | — |
| Bot traffic (total) | 47% | — | — |
| Search engine crawlers (Google, Yandex, Bing) | 18% | — | — |
| SEO scrapers (Ahrefs, Semrush, Majestic) | 12% | — | — |
| Monitoring & uptime tools | 17% | — | — |
| AI crawlers (GPTBot, ClaudeBot, PerplexityBot) | 5% | — | — |
| Malicious (bruteforce, scanners) | 8% | — | — |
| Unidentified / generic scrapers | 7% | — | — |
Разбивка по платформам
| Платформа | Доля | Деталь | — |
|---|---|---|---|
| GoogleBot + GoogleBot-Mobile | 14% | legit: 100% | — |
| YandexBot | 6% | legit: 100% | — |
| Bingbot | 2% | legit: 100% | — |
| AhrefsBot + SemrushBot | 8% | legit: 100% | — |
| GPTBot (OpenAI) | 2.1% | AI crawler | — |
| ClaudeBot (Anthropic) | 1.4% | AI crawler | — |
| PerplexityBot | 1.0% | AI crawler | — |
| UptimeRobot + Pingdom | 6% | monitoring | — |
Почему это важно
- Сравните с вашими access logs: если bot traffic < 40% — недо-индексированы. > 60% — возможно flood/DDoS
- AI crawlers — новый класс (2023+). Robots.txt управляет GPTBot, ClaudeBot, PerplexityBot; их нельзя просто блокировать если хотите AI citations
- SEO scrapers (Ahrefs, Semrush) — 12% трафика. Блокировка через Cloudflare не-WAF rules экономит bandwidth
- Malicious 8% — активный risk. Security Scanner + fail2ban обязательны
- Monitoring 17% — в том числе ваши собственные healthchecks. Не считайте их нагрузкой
Методология
Топ-10k публичных сайтов с agreement на участие в аналитике (anonymised logs). Period: март 2026, weekly averages. Bot classification через User-Agent pattern matching + reverse DNS verification (для search engines). Unidentified = не matched но shows bot-like behaviour (no referer, linear paths, 24/7 regular).
Больше по теме
Часто задаваемые вопросы
Как отличить GoogleBot от спуфа?
Reverse DNS lookup на IP + проверка что точка возвращает google-crawler.google.com. Только после верификации считайте legit.
Нужно ли блокировать AI crawlers?
Depends. Если вы хотите citations в Perplexity/ChatGPT — разрешите. Если контент платный/proprietary — блокируйте через robots.txt или CF rule.
47% bots — это норма в 2026?
Да, global average 40-50%. Тренд расти из-за AI scraping и монетизации content через AI.
Как увидеть свой bot-трафик?
Access logs + <a href="/s/glossary-robots-txt">robots.txt</a> audit. Plus Enterno Pro dashboard показывает bot % по User-Agent.