sitemap.xml: определение и применение
sitemap.xml — XML-файл со списком всех канонических URL сайта для поисковиков. Содержит loc, lastmod, changefreq, priority. Лимит: 50 000 URL / 50 MB на файл. Для больших сайтов — sitemap-index с ссылками на partitioned sitemaps.
Что такое sitemap.xml
sitemap.xml — XML-файл со списком всех канонических URL сайта для поисковиков. Содержит loc, lastmod, changefreq, priority. Лимит: 50 000 URL / 50 MB на файл. Для больших сайтов — sitemap-index с ссылками на partitioned sitemaps.
Почему нам доверяют
Как это работает
Введите URL сайта
Парсим robots.txt
Проверьте правила краулинга
Зачем проверять robots.txt?
robots.txt управляет тем, какие страницы видят поисковые боты. Неправильные директивы могут случайно закрыть весь сайт от индексации или, наоборот, открыть административные разделы.
Полный парсинг
Парсим robots.txt по RFC 9309: все User-agent, Allow/Disallow, Crawl-delay, Sitemap.
URL-тестер
Введите конкретный URL и User-agent — узнаете, разрешён ли он для этого бота.
AI-краулеры
Автоматически показываем статус для GPTBot, ClaudeBot, PerplexityBot, Googlebot.
Sitemap-список
Все Sitemap: директивы в одном месте с быстрыми ссылками для проверки.
Кому это нужно
SEO-специалисты
аудит краулинг-директив
Разработчики
проверка после деплоя
Маркетологи
контроль индексации
Владельцы сайтов
защита от нежелательных краулеров
Частые ошибки
Лучшие практики
User-agent: * распространяется на всех ботов, включая AI-краулеров.Sitemap: https://example.com/sitemap.xml помогает ботам найти все страницы.Получите больше с бесплатным аккаунтом
История проверок robots.txt и мониторинг его изменений на вашем сайте.
Зарегистрироваться (FREE)Больше по теме
Часто задаваемые вопросы
Нужно ли мне sitemap.xml?
Если работаете с веб-инфраструктурой — да. Смотрите описание выше.