Эволюция bot-трафика 2024-2026
Imperva Bad Bot Report 2026: bot-traffic = 50.2% всего web traffic (рекорд). Breakdown: 32% bad bots (scrapers, credential stuffing, DDoS), 18.2% good bots (Googlebot, monitoring, feeds). Крупнейший рост 2024-2026: AI scrapers — GPTBot, ClaudeBot, PerplexityBot, ByteSpider (13 → 28% of total bot traffic). Нишевый тренд: residential proxies + headless Chrome обходят WAF. Mitigations: Content-Signal (IETF), Cloudflare Bot Fight Mode, fingerprint-based JA3/JA4.
Ниже: подробности, пример, связанные, FAQ.
Детали
- Imperva 2026: 50.2% total — впервые > human (humans 49.8%)
- AI scrapers в 2024 vs 2026: 13% → 28% of bot traffic
- Credential stuffing остаётся #1 by volume, ретейл самая частая цель
- Residential proxy networks (BrightData, Oxylabs) обходят IP-bans
- Content-Signal (IETF ai-train / ai-search / search-index) — standards для labeling
Пример
# robots.txt с Content-Signal (2026)
User-agent: *
Content-Signal: search=yes, ai-train=no, ai-search=yes
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# nginx — rate-limit AI scrapers
map {
default 0;
~*(gpt|claude|perplexity|anthropic|cohere)bot 1;
}
limit_req_zone zone=aibots:10m rate=30r/m;
limit_req zone=aibots burst=10 nodelay if ();Связанные
Часто задаваемые вопросы
Бот-трафик = плохо?
Нет. Googlebot, мониторинги, RSS feeds — legitimate. Проблема в malicious 32%.
Как отличить?
User-Agent + reverse DNS + behavioral fingerprinting (JA3/JA4). Одни UA недостаточно (spoofable).
AI scrapers — блокировать?
Зависит: для публикаций — блокировать (monetization protection). Для SaaS docs — allow (AI даёт traffic обратно через ссылки).