Коротко. llms.txt — это markdown-файл в корне сайта (/llms.txt), который даёт большим языковым моделям компактную, машиночитаемую карту вашего контента: краткое описание проекта и список самых важных страниц со ссылками. Он не заменяет robots.txt или sitemap.xml, а помогает AI-агентам быстрее понять структуру сайта и точнее цитировать ваши материалы.
Что такое llms.txt и зачем он нужен
Формат llms.txt предложен как способ сообщить AI-системам, какой контент на сайте самый ценный, в формате, удобном для обработки LLM. Обычная HTML-страница содержит навигацию, рекламу, скрипты и стили — всё это «шум» для модели. Файл llms.txt убирает шум и отдаёт суть в чистом markdown.
- Экономия контекста. Модель тратит меньше токенов на разбор страницы.
- Точность цитирования. AI-ассистенты (ChatGPT, Claude, Perplexity) с большей вероятностью сошлются именно на нужную страницу.
- Контроль приоритетов. Вы сами решаете, какие разделы показать в первую очередь.
llms.txt — это не директива доступа, а подсказка. Он отвечает на вопрос «что у вас есть важного», а не «куда можно ходить». За доступ отвечает robots.txt.
Структура файла
Файл состоит из заголовка # с названием проекта, краткого описания в blockquote > и тематических секций ## со списками ссылок в формате - [Название](url): описание.
# Enterno.io
> Платформа для мониторинга аптайма и анализа сайтов: 48+ бесплатных инструментов, проверка HTTP-заголовков, SSL, DNS, AI-готовности.
## Инструменты
- [Проверка AI-готовности](https://enterno.io/ai-check): анализ llms.txt, schema, content-negotiation
- [SSL-чекер](https://enterno.io/ssl): срок действия и цепочка сертификата
- [DNS Lookup](https://enterno.io/dns): записи A, AAAA, MX, NS, TXT
## Документация
- [API v4](https://enterno.io/api/docs): REST API ко всем инструментам
- [Гайд по robots.txt](https://enterno.io/articles/robots-txt-guide): директивы для краулеров
## Опционально
- [Блог](https://enterno.io/articles): статьи по SEO и мониторингу
Секция ## Опционально (Optional) подсказывает модели, что эти ссылки можно пропустить при ограниченном контексте.
Где разместить и как отдавать
Файл должен быть доступен по адресу https://ваш-домен/llms.txt с правильным MIME-тип. Многие сайты дополнительно отдают /llms-full.txt с полным каталогом всех URL и per-cluster версии (например, /llms-glossary.txt).
Enterno.io, например, отдаёт llms.txt, llms-full.txt, per-cluster файлы и markdown-версии каждой страницы — а также реагирует на заголовок Accept: text/markdown. Подробнее об этом — в статье про content-negotiation для AI.
Таблица: связанные файлы
| Файл | Назначение | Аудитория |
|---|---|---|
| llms.txt | Карта важного контента в markdown | LLM / AI-агенты |
| robots.txt | Правила доступа для краулеров | Поисковые и AI-боты |
| sitemap.xml | Полный список URL для индексации | Поисковые системы |
| .well-known/ai-plugin.json | Дескриптор AI-плагина | AI-платформы |
Как проверить llms.txt
После публикации файла убедитесь, что он отдаётся по корневому пути, имеет валидный markdown и все ссылки рабочие. Проверить AI-готовность сайта целиком — наличие llms.txt, structured data, корректного content-negotiation — можно бесплатным инструментом.
Не дублируйте в llms.txt служебные и приватные страницы (логин, корзина, админка). Файл — это витрина лучшего контента, а не зеркало sitemap.
Частые вопросы
Обязателен ли llms.txt?
Нет, это рекомендательный формат. Но он бесплатный, простой и повышает шансы корректного цитирования вашего сайта AI-ассистентами.
Заменяет ли llms.txt sitemap.xml?
Нет. Sitemap нужен поисковым системам для полной индексации, а llms.txt — это короткая курируемая карта приоритетного контента для LLM. См. гайд по sitemap.xml.
Как часто обновлять файл?
При появлении важных новых разделов. Многие генерируют llms.txt автоматически из базы по cron — тогда он всегда актуален.
Видят ли его поисковики?
Формат ориентирован на LLM, но ничто не мешает поисковым ботам его прочитать. На ранжирование в классическом поиске он напрямую не влияет.
Чем llms.txt отличается от robots.txt для AI?
robots.txt управляет доступом ботов (можно/нельзя ходить), а llms.txt — содержанием (вот что важно). Про директивы для AI-ботов читайте в статье robots.txt и AI-боты.