Проверяйте GPTBot по исходному IP соединения и официальному списку CIDR: одного User-Agent недостаточно. Скрипт ниже различает совпадение, отсутствие совпадения и ошибку данных. За CDN сначала восстановите адрес клиента через доверенный прокси. Принадлежность диапазону не даёт запросу права обходить авторизацию или получать закрытые страницы.

Строку GPTBot в access.log легко принять за подтверждение личности. Но заголовок User-Agent выбирает сам клиент. Для владельца сайта практическая задача состоит из двух частей: определить, какой адрес действительно отправил запрос, и сопоставить его с актуальным списком оператора. Только после этого можно обсуждать правила для конкретного краулера. Это помогает не выдать исключение из защиты постороннему запросу и не заблокировать полезный обход из-за ошибки журнала.
Шаг 1. Выберите список для нужного бота
Используйте опубликованный оператором файл именно для заявленного робота. В документации OpenAI GPTBot относится к сбору материалов для обучения, OAI-SearchBot — к поиску, а ChatGPT-User — к действиям пользователей. Их назначения и списки адресов не следует объединять в одно правило «всё от OpenAI разрешено». Название продукта в строке браузера тоже не определяет назначение запроса.
В нашем снимке gptbot.json содержал 18 префиксов. Это число относится к сохранённому файлу, а не к постоянному свойству сервиса. Завтра список может измениться. Не переносите диапазоны из статьи вручную в бессрочный whitelist: сохраняйте источник, время получения и контрольную сумму. Когда разбираете вчерашний запрос, нужен список, действовавший во время запроса, если он был сохранён.

Шаг 2. Получите исходный IP
На прямом соединении используйте адрес сетевого клиента. За CDN или балансировщиком приложение часто видит адрес промежуточного узла. Сверка этого адреса с gptbot.json ничего не говорит об исходном посетителе. Проверьте схему доставки запроса и настройку логов: журнал края и журнал приложения могут содержать разные адреса для одного обращения.
Доверять X-Forwarded-For можно только от настроенных доверенных прокси. Если origin открыт напрямую и принимает любой такой заголовок, посторонний клиент может подставить адрес из списка бота. В nginx механизм описан в ngx_http_realip_module: доверенные узлы задаются через set_real_ip_from. Не копируйте чужой диапазон доверенных прокси; он должен соответствовать вашей инфраструктуре. Для проверки адреса и владельца сети можно открыть инструмент IP enterno.io, но сведения об ASN сами по себе не удостоверяют робота.
Сохраняйте сетевого соседа и восстановленный клиентский адрес в разных полях. При спорном результате это позволяет вернуться к цепочке прокси. Для IPv6 используйте полноценный парсер: адрес нельзя безопасно сравнивать по первым символам строки. И не пытайтесь исправить проблему логирования, разрешив весь диапазон облачного провайдера.
Шаг 3. Запустите проверку CIDR
Скачайте официальный JSON по HTTPS в локальный файл gptbot.json, сохраните код как verify.py и передайте один исходный IP. Скрипт использует стандартную библиотеку Python и работает с IPv4 и IPv6. Он проверяет структуру списка, соответствие семейства адресу и наличие префиксов. Пустой или повреждённый файл даёт UNKNOWN, поэтому сбой загрузки не выглядит как доказательство подмены.
import ipaddress
import json
import sys
from pathlib import Path
def verify(path, value):
data = json.loads(Path(path).read_text())
prefixes = data['prefixes']
if not isinstance(prefixes, list) or not prefixes:
raise ValueError('empty or invalid prefixes')
networks = []
for row in prefixes:
fields = [k for k in ('ipv4Prefix', 'ipv6Prefix') if k in row]
if len(fields) != 1:
raise ValueError('invalid prefix row')
key = fields[0]
network = ipaddress.ip_network(row[key])
expected = 4 if key == 'ipv4Prefix' else 6
if network.version != expected:
raise ValueError('address family mismatch')
networks.append(network)
address = ipaddress.ip_address(value)
for network in networks:
if address.version == network.version and address in network:
return 'MATCH ' + str(network), 0
return 'NO_MATCH', 1
if __name__ == '__main__':
try:
if len(sys.argv) != 3:
raise ValueError('usage: verify.py feed.json source-ip')
result, code = verify(sys.argv[1], sys.argv[2])
except (ValueError, KeyError, TypeError, OSError):
result, code = 'UNKNOWN invalid input or feed', 2
print(result)
sys.exit(code)
Членство в сети проверяется средствами модуля ipaddress. Код не перебирает каждый адрес подсети и не делает запрос к проверяемому узлу. Положительный пример ниже выбран внутри опубликованного диапазона арифметически: он не является запросом, который мы наблюдали в access.log enterno.io.
python3 verify.py gptbot.json 132.196.86.1
MATCH 132.196.86.0/24
python3 verify.py gptbot.json 192.0.2.1
NO_MATCH
python3 verify.py gptbot.json bad-ip
UNKNOWN invalid input or feed
Шаг 4. Прочитайте результат без лишних выводов
MATCH означает членство переданного адреса в сохранённом списке. NO_MATCH означает отсутствие адреса в этом снимке. UNKNOWN означает, что проверка не состоялась. Эта разница нужна в автоматизации: при ошибке JSON нельзя уверенно назвать запрос поддельным или автоматически расширить доступ.
| Сценарий теста | Результат | Код завершения | Дальнейшее действие |
|---|---|---|---|
| Адрес внутри первого CIDR | MATCH | 0 | Сопоставить роль бота и правила доступа |
| 192.0.2.1 вне списка | NO_MATCH | 1 | Проверить время списка и исходный IP |
| Некорректная строка IP | UNKNOWN | 2 | Исправить входные данные |
| Файл отсутствует | UNKNOWN | 2 | Восстановить проверенный снимок |
Не называйте каждый NO_MATCH атакой. Список мог устареть, выбран другой бот, журнал записал прокси вместо клиента. Если все эти причины исключены, запрос остаётся неподтверждённым. Оставьте для него обычную политику доступа и запишите причину. Проверенный crawler тоже может превышать допустимую нагрузку: ограничение частоты запросов и защита закрытых маршрутов продолжают действовать.
Шаг 5. Обновляйте список отдельно от запросов
Не скачивайте gptbot.json при каждом обращении к вашему сайту. Внешняя сеть добавит задержку и сделает решение зависимым от доступности чужого сервера. Получайте список фоновым заданием, проверяйте HTTP-статус и схему, затем атомарно заменяйте локальный снимок. Сохраняйте предыдущую исправную версию, чтобы не потерять возможность диагностики при временном сбое.
Частоту обновления выбирайте под риск и требования вашей системы. Статья не обещает официального интервала обновления OpenAI. Для строгого правила установите собственный предел возраста списка и определите поведение после его превышения. Старый файл может временно помогать анализу журналов, но его возраст должен быть виден рядом с результатом. Отдельный алерт нужен для неудачных обновлений, даже если проверка ещё работает на старом снимке.
Сначала включите проверку в режим наблюдения. Посмотрите, сколько запросов попадает в каждую категорию, нет ли неожиданного роста UNKNOWN и одинакового адреса прокси у всех клиентов. Только затем меняйте правила firewall или WAF. Разбор разрешённых IP мониторинга полезен для проверки всей цепочки доступа, а чек-лист релиза — для фиксации исходного состояния и отката.
Если проверка не совпала с ожиданиями
Начните с конкретной записи журнала и времени её появления. Проверьте, не подменился ли реальный IP адресом Traefik, CDN или внутреннего балансировщика. Затем сопоставьте User-Agent с правильным файлом диапазонов. Одна инфраструктура может обслуживать несколько ролей, но исключение для обучающего робота не должно автоматически распространяться на пользовательскую загрузку.
Если JSON не читается, сохраните код ответа и диагностическое сообщение загрузчика без секретов. Ошибка DNS, таймаут или HTML-страница блокировки требуют восстановления обновления. Разбор времени curl помогает локализовать сетевую задержку, а мониторинг внешних зависимостей — учитывать отказ источника списка. Не вставляйте временно пустой JSON, чтобы убрать ошибку парсера.
Запишите основания решения в журнал
Для каждой проверки сохраняйте время события, имя заявленного робота, источник адреса и версию списка. Полный URL с параметрами пользователя для этого не нужен. Поля результата должны позволять ответить, почему запрос получил исключение или остался под обычными правилами. При повторном разборе не заменяйте старый результат новым без отметки: список адресов мог измениться между двумя проверками.
В обработчике большого потока запросов разберите список один раз после обновления и держите сети в памяти. Пример командной строки читает JSON при каждом запуске ради простоты ручной диагностики. Не превращайте его буквально в отдельный процесс на каждый HTTP-запрос. Перед внедрением в WAF проверьте положительный и отрицательный сценарии через реальную цепочку прокси, включая прямой доступ к origin. Затем убедитесь, что закрытая страница по-прежнему требует авторизации даже при совпадении IP.
Как сделан материал
Сохранён публичный gptbot.json, выполнены четыре локальных запуска Python: адрес внутри первого префикса, документационный адрес вне диапазонов, ошибочная строка и отсутствующий файл. Результаты находятся в data.json рядом со скриптом. Это тест членства и обработки ошибок, без запросов к адресам ботов и без анализа трафика клиентов enterno.io. SERP Яндекса и Google собраны отдельно; Wordstat по региону 225 дал 94 для широкого запроса gptbot, узкий запрос остался без оценки. Частотность не доказывает распространённость поддельных ботов.
Частые вопросы
Достаточно ли GPTBot в User-Agent?
Нет. Заголовок выбирает клиент. Сопоставьте исходный IP с официальным списком нужного бота и убедитесь, что адрес восстановлен через доверенную цепочку прокси.
Можно ли разрешить все IP облачного провайдера?
Это слишком широкое исключение: сеть может содержать посторонние сервисы. Используйте опубликованные диапазоны конкретного оператора и роли, сохраняя ограничения маршрутов.
Нужно ли блокировать при UNKNOWN?
UNKNOWN сообщает об отсутствии результата проверки. Примените заранее выбранную обычную политику доступа и поднимите сигнал о неисправности проверяющего, не записывая запрос как доказанную подделку.