sitemap.xml: определение и применение
sitemap.xml — XML-файл со списком всех канонических URL сайта для поисковиков. Содержит loc, lastmod, changefreq, priority. Лимит: 50 000 URL / 50 MB на файл. Для больших сайтов — sitemap-index с ссылками на partitioned sitemaps.
Бесплатный онлайн-инструмент — проверка robots checker: результат мгновенно, без регистрации.
Что такое sitemap.xml
sitemap.xml — XML-файл со списком всех канонических URL сайта для поисковиков. Содержит loc, lastmod, changefreq, priority. Лимит: 50 000 URL / 50 MB на файл. Для больших сайтов — sitemap-index с ссылками на partitioned sitemaps.
Создание и настройка sitemap.xml
Чтобы создать sitemap.xml, можно воспользоваться специальными инструментами или плагинами для CMS. Например, в WordPress для этого есть плагины, такие как Yoast SEO или All in One SEO Pack. Они позволяют автоматически генерировать карту сайта.
Для настройки sitemap.xml необходимо указать следующие параметры:
- loc — URL страницы;
- lastmod — дата последнего изменения страницы;
- changefreq — частота изменений страницы;
- priority — приоритет страницы в индексе поисковика.
Пример команды для создания sitemap.xml в WordPress с помощью плагина Yoast SEO:
yoast_sitemap_generate()Оптимизация sitemap.xml для больших сайтов
Для больших сайтов с большим количеством URL рекомендуется использовать sitemap-index, который содержит ссылки на partitioned sitemaps. Это позволяет оптимизировать процесс индексации и ускорить загрузку файла sitemap.xml.
Пример структуры sitemap-index:
- sitemap-index.xml — основной файл, содержащий ссылки на partitioned sitemaps;
- sitemap1.xml, sitemap2.xml и т. д. — partitioned sitemaps, содержащие URL определённой части сайта.
Пример команды для создания sitemap-index.xml:
sitemap_index_generate(['sitemap1.xml', 'sitemap2.xml'])Это позволяет поисковикам более эффективно сканировать и индексировать большие сайты.
Проверка и исправление ошибок в sitemap.xml
После создания sitemap.xml необходимо проверить его на наличие ошибок. Для этого можно использовать специальные инструменты, такие как Google Search Console или Яндекс.Вебмастер.
В Google Search Console можно проверить файл sitemap.xml на наличие ошибок и получить рекомендации по их исправлению. Например, если в файле указаны некорректные URL, поисковик может не проиндексировать эти страницы.
Пример команды для проверки sitemap.xml в Google Search Console:
gsc_sitemap_check('sitemap.xml')Если в файле обнаружены ошибки, необходимо исправить их и повторно проверить файл. Это поможет обеспечить правильную индексацию сайта поисковиками.
Почему нам доверяют
Как это работает
Введите URL сайта
Парсим robots.txt
Проверьте правила краулинга
Зачем проверять robots.txt?
robots.txt управляет тем, какие страницы видят поисковые боты. Неправильные директивы могут случайно закрыть весь сайт от индексации или, наоборот, открыть административные разделы.
Полный парсинг
Парсим robots.txt по RFC 9309: все User-agent, Allow/Disallow, Crawl-delay, Sitemap.
URL-тестер
Введите конкретный URL и User-agent — узнаете, разрешён ли он для этого бота.
AI-краулеры
Автоматически показываем статус для GPTBot, ClaudeBot, PerplexityBot, Googlebot.
Sitemap-список
Все Sitemap: директивы в одном месте с быстрыми ссылками для проверки.
Кому это нужно
SEO-специалисты
аудит краулинг-директив
Разработчики
проверка после деплоя
Маркетологи
контроль индексации
Владельцы сайтов
защита от нежелательных краулеров
Частые ошибки
Лучшие практики
User-agent: * распространяется на всех ботов, включая AI-краулеров.Sitemap: https://example.com/sitemap.xml помогает ботам найти все страницы.Получите больше с бесплатным аккаунтом
История проверок robots.txt и мониторинг его изменений на вашем сайте.
Зарегистрироваться (FREE)Больше по теме
Часто задаваемые вопросы
Нужно ли мне sitemap.xml?
Если работаете с веб-инфраструктурой — да. Смотрите описание выше.
Запустить инструмент, который описан в этой статье
Бесплатный тариф — 10 мониторов, проверки каждые 5 мин, без карты. Платные тарифы — интервал от 1 минуты и проверки из нескольких регионов.