Безопасность популярных сайтов, ноябрь 2026: HSTS, CSP, TLS и ИИ-краулеры у топ-10 000

Name: Безопасность популярных сайтов, ноябрь 2026: HSTS, CSP, TLS и ИИ-краулеры у топ-10 000
Published: 2026-11-05
License: https://creativecommons.org/licenses/by/4.0/

Команда enterno.io

Открытые данные · CC BY 4.0

Безопасность популярных сайтов: топ-10 000

HSTS, Content-Security-Policy, TLS 1.0, сроки сертификатов, llms.txt и правила robots.txt для ИИ-краулеров — замер на самых популярных доменах открытого рейтинга.

Выпуск за ноябрь 2026 · список Tranco JZPGY

Скачать CSV Методология

Главное

58,2 % отдают заголовок HSTS
35,1 % применяют Content-Security-Policy
25,5 % все еще принимают TLS 1.0
17,2 % закрывают хотя бы одного ИИ-краулера
11,6 % публикуют llms.txt
90,1 % договариваются о TLS 1.3

У каждой доли своя база — сайты, где ее удалось измерить; см. таблицу.

Все показатели

Доля сайтов по каждому показателю: по ярусам рейтинга и весь список
Показатель	Топ-1 000	Все	База
Главная отдается по HTTPS база 9 498	67,3 %	75,1 %	9 498
Заголовок HSTS база 5 501	69,0 %	58,2 %	5 501
HSTS с max-age от года база 5 501	55,4 %	44,8 %	5 501
HSTS готов к списку preload база 5 501	23,4 %	16,3 %	5 501
Действующий Content-Security-Policy база 5 501	51,6 %	35,1 %	5 501
CSP только в режиме Report-Only база 5 501	4,0 %	4,1 %	5 501
Согласован TLS 1.3 база 7 220	90,6 %	90,1 %	7 220
Принимает TLS 1.0 база 7 220	20,7 %	25,5 %	7 220
Сертификат истек база 7 220	0,0 %	0,3 %	7 220
Сертификат истекает в ближайшие 14 дней база 7 220	1,4 %	1,0 %	7 220
robots.txt закрывает хотя бы одного ИИ-краулера база 6 594	20,9 %	17,2 %	6 594
Есть llms.txt база 7 278	16,8 %	11,6 %	7 278

ИИ-краулеры, закрытые в robots.txt

Доля сайтов, чей robots.txt запрещает краулеру главную страницу, из 6 594 сайтов, где robots.txt удалось прочитать (нет файла — можно все).

GPTBot OpenAI · обучение моделей 15,0 %
OAI-SearchBot OpenAI · ИИ-поиск и ответы 6,5 %
ClaudeBot Anthropic · обучение моделей 14,5 %
Claude-SearchBot Anthropic · ИИ-поиск и ответы 6,4 %
PerplexityBot Perplexity · ИИ-поиск и ответы 9,2 %
Google-Extended Google · обучение моделей 13,1 %
Applebot-Extended Apple · обучение моделей 12,5 %

Сроки сертификатов

Срок действия сертификата, который отдает сайт, из 7 220 состоявшихся рукопожатий. Голосование CA/Browser Forum SC-081 ограничивает новые публичные сертификаты 200 днями с 15 марта 2026, 100 — с 15 марта 2027 и 47 — с 15 марта 2029.

до 47 дней 0,8 %
48–100 дней 54,1 %
101–200 дней 31,9 %
больше 200 дней 13,3 %

Методология

Домены: первые 10 000 из Tranco JZPGY, список от 2026-11-04. Замер 2026-11-05 – 2026-11-05 (UTC). Не измерялись: запрещенный контент (для взрослых, азартные игры, заблокированные в России) — 195; robots.txt запрещает наш краулер — 239; robots.txt ответил 5xx или 429 — 68 (этим сайтам больше ничего не отправлялось; они учтены здесь и не перечислены в данных). Измерены, но без данных о заголовках: нет ответа — 2 186; только HTTP — 183; страница защиты от ботов — 1 407.

Что запрашиваем

На домен, не больше: /robots.txt, главная и /llms.txt — по HTTPS, по HTTP только если HTTPS не отвечает, до 5 перенаправлений — и два TLS-рукопожатия на порт 443. Больше ничего не запрашивается; тело читается до 64 КБ (главная), 256 КБ (llms.txt) и 512 КБ (robots.txt). Обход идет с общим ограничением темпа и одним запросом за раз к сайту, с одного отдельного сервера, на котором больше ничего не работает (страна — Сингапур).

User-Agent:

Mozilla/5.0 (compatible; EnternoResearch/1.0; +https://enterno.io/en/state-of-web-security)

Перенаправления — только на порты 80 и 443. Как сайту отказаться: владельцам сайтов.

Определения

HTTPS — главная после перенаправлений отдается по HTTPS. Сертификат читается, но не проверяется: истекший или самоподписанный тоже считается HTTPS.
Заголовки (HSTS, CSP) — из последнего HTTPS-ответа главной, только 2xx/3xx. Ответ 403, 406, 429 или 503 — страница защиты от ботов, ее заголовки не сайта: такие сайты в базу не входят.
HSTS — Strict-Transport-Security с max-age больше 0; «от года» — max-age ≥ 31536000; «готов к preload» — плюс includeSubDomains и preload.
CSP — действующий заголовок ответа Content-Security-Policy; -Report-Only считается отдельно; meta-теги не читаются.
TLS 1.3 — версия, о которой договаривается современный клиент (OpenSSL 3). TLS 1.0 — отдельное рукопожатие, предлагающее только TLS 1.0, состоялось; неудачное повторяется один раз, рукопожатие, потерянное в сети, читается как «не принимает».
Сертификат — конечный сертификат на порту 443: срок — notAfter − notBefore, дни до истечения — от момента замера.
ИИ-краулеры — robots.txt по RFC 9309 (группа токена краулера, иначе *; побеждает самое длинное правило) для пути /. Нет robots.txt (4xx) — можно все; ответ защиты 403/406, 5xx, 429 или нет ответа — в базу не входит.
llms.txt — /llms.txt отвечает 2xx, тело не HTML и содержит заголовок Markdown H1 (# Название).

Ограничения

Одна точка замера (Сингапур): сайты, фильтрующие трафик по стране или по адресам дата-центров, выглядят недоступными или отдают страницу защиты от ботов и выпадают из баз. Читается только главная — заголовок на других страницах не виден. Tranco ранжирует регистрируемые домены, а не хост, на который ведет перенаправление.

Владельцам сайтов

Запросы с EnternoResearch в User-Agent отправляет исследовательский краулер enterno.io. У каждого из самых популярных доменов рейтинга Tranco он читает robots.txt, заголовки ответа главной и llms.txt и делает два TLS-рукопожатия — чтобы опубликовать сводные цифры о том, насколько распространены HSTS, CSP и современный TLS. Другие страницы он не обходит, не входит в аккаунты, не отправляет формы и не ищет уязвимости.

Как отказаться

Добавьте в robots.txt:

User-agent: EnternoResearch
Disallow: /

robots.txt читается раньше всего остального. Сайт, чей robots.txt запрещает EnternoResearch (или всех краулеров) на /, больше не получает ни одного запроса и не попадает в CSV: он только добавляет единицу к числу отказавшихся. robots.txt, который отвечает 5xx или 429, считается таким же отказом.

Связаться

Убрать домен из опубликованного выпуска или спросить об этих запросах — напишите на support@enterno.io или через форму обратной связи.

Данные и лицензия

Строка на измеренный домен, только измеренные значения (1 / 0, пусто — не измерено). Можно использовать, распространять и переделывать по CC BY 4.0 со ссылкой на enterno.io.

enterno-state-of-web-security-2026-11-04-tranco-JZPGY.csv

Как ссылаться

enterno.io, "State of Web Security", November 2026 edition, https://enterno.io/state-of-web-security. Domain list: Tranco JZPGY (Le Pochat et al., NDSS 2019), https://tranco-list.eu/list/JZPGY/10000. CC BY 4.0.

Колонки

rank domain scanned_at_utc error https http_status bot_wall hsts hsts_max_age hsts_include_subdomains hsts_preload csp csp_report_only tls_version tls_1_0_accepted cert_lifetime_days cert_days_left robots_txt robots_allows_gptbot robots_allows_oai_searchbot robots_allows_claudebot robots_allows_claude_searchbot robots_allows_perplexitybot robots_allows_google_extended robots_allows_applebot_extended llms_txt