Что такое robots.txt

• User-agent: * — правила применяются ко всем ботам
• Disallow: /admin/ — запретить путь
• Allow: /admin/public/ — явное разрешение в запрещённой директории
• Sitemap: https://example.com/sitemap.xml — указатель на sitemap
• Crawl-delay: 5 — не чаще 1 запроса в 5 секунд (Google игнорирует, Yandex/Bing читают)

User-agent: *
Disallow: /admin/
Disallow: /*.pdf$
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

• sitemap.xml
• IndexNow
• Cache-Control

Файл robots.txt — это текстовый файл, который располагается в корневом каталоге веб-сайта и используется для управления доступом поисковых роботов к различным разделам сайта. Он позволяет владельцам сайтов указывать, какие страницы или директории должны быть проиндексированы, а какие — игнорироваться. Основная цель этого файла — предотвратить индексацию нежелательного контента, например, дублированных страниц или разделов с конфиденциальной информацией.

Файл robots.txt следует стандарту Robots Exclusion Protocol, который определяет, как поисковые системы должны обрабатывать указания в этом файле. Когда поисковый робот посещает сайт, он первым делом ищет файл robots.txt по адресу https://example.com/robots.txt. Если файл существует, робот читает его содержимое и принимает решения о том, какие страницы индексировать.

В файле могут быть указаны следующие команды:

• User-agent: определяет, для какого поискового робота применяются следующие инструкции.
• Disallow: указывает путь к страницам или директориям, доступ к которым запрещён.
• Allow: указывает путь, который разрешён для индексации, даже если родительская директория запрещена.

Пример содержимого файла robots.txt:

User-agent: *
Disallow: /private/
Allow: /private/public-page.html

В этом примере все поисковые системы (обозначенные символом *) не могут индексировать директорию /private/, но могут индексировать файл public-page.html внутри этой директории.

Для эффективного использования файла robots.txt важно соблюдать некоторые рекомендации. Во-первых, следует помнить, что файл не является строгим правилом для поисковых роботов. Некоторые боты могут игнорировать его указания, поэтому для защиты конфиденциальной информации лучше использовать дополнительные меры, такие как авторизация. Во-вторых, необходимо регулярно обновлять файл в зависимости от изменений на сайте.

Вот несколько примеров сценариев использования:

• Если у вас есть раздел сайта с временными акциями, которые не должны индексироваться, вы можете добавить следующие строки:

User-agent: *
Disallow: /promo/

• Если вы хотите разрешить индексацию только определённых страниц в каталоге, вы можете использовать:

User-agent: *
Disallow: /products/
Allow: /products/product1.html
Allow: /products/product2.html

Также стоит отметить, что некоторые поисковые системы, такие как Google, предоставляют инструменты для тестирования файла robots.txt, что позволяет проверить, как они будут интерпретировать его содержимое. Это особенно полезно для предотвращения случайной блокировки важных страниц.