Анализ включает все ключевые аспекты файла:
Типичные проблемы, которые мы обнаруживаем:
Один неверный символ в robots.txt может привести к тому, что Googlebot перестанет обходить ваш сайт. Проверяйте файл после любых изменений на сайте и при настройке CMS или хостинга.
Введите URL сайта в форму — Enterno.io автоматически найдёт файл robots.txt по адресу /robots.txt и проверит его содержимое.
Всегда в корне домена: например, https://example.com/robots.txt. Он должен быть доступен без перенаправлений и авторизации.
Эта директива запрещает всем роботам индексировать весь сайт. Это критическая ошибка, если попала в продакшн случайно — часто бывает при разработке.
Строго обязателен. Без него поисковики используют настройки по умолчанию. Минимум — укажите путь к Sitemap, это помогает корректной индексации.