Коротко. Если сайта нет в поиске, сначала проверьте индексацию: оператор site: в Яндексе и Google, отчёты «Страницы в поиске» и «Индексирование страниц». Частые причины — запрет в robots.txt, noindex, ошибки сервера, недоступность при обходе и молодой домен. Ниже — разбор и пошаговый план диагностики.
«Сайта нет в поиске» — три разные ситуации
Уточните диагноз: за жалобой «сайт не отображается в поиске» стоят три проблемы.
- Сайт не проиндексирован вообще: оператор site: не показывает ни одной страницы.
- Сайт в индексе, но не находится даже по названию компании: по бренд-запросу выдача показывает конкурентов — фильтр, склейка зеркал, слабая главная.
- Сайт в индексе, но глубоко в выдаче: вопрос ранжирования, а не индексации — начните с SEO-аудита сайта и чеклиста аудита.
Статья — про первые две ситуации.
Как проверить индексацию сайта
Оператор site: в Яндексе и Google
Введите site:vash-domen.ru: ноль результатов — сайта в индексе нет; страниц меньше реального — выпали разделы. Конкретную страницу в Яндексе проверяет оператор url:vash-domen.ru/stranica/.
Яндекс.Вебмастер
«Страницы в поиске» показывает, какие URL в выдаче и почему исключены остальные: редирект, дубль, ошибка, малополезность. «Статистика обхода» — заходит ли робот и с какими кодами.
Google Search Console
«Индексирование страниц» («Покрытие») делит URL на проиндексированные и исключённые с причинами. Инструмент проверки URL даёт вердикт по странице: статус, canonical, дата сканирования.
Технические причины: сайт запрещает себя сам
Если сайт не индексируется, причина чаще всего техническая — идите по списку сверху вниз.
robots.txt закрывает сайт от обхода
Классика: сайт собирали на закрытом тестовом поддомене, а при переносе конфиг забыли. Такой файл запрещает обход всего сайта:
User-agent: * Disallow: /
Рабочий вариант — закрыть служебные разделы и указать sitemap:
User-agent: * Disallow: /admin/ Disallow: /search/ Sitemap: https://example.ru/sitemap.xml
Самая частая причина «пропажи» у новых сайтов — забытый Disallow: / из staging-конфига. Одна строка выключает весь сайт из поиска, поэтому robots.txt — первый пункт диагностики.
Метатег noindex и заголовок X-Robots-Tag
Запрет прячется в HTML (<meta name="robots" content="noindex">) или в HTTP-заголовке, невидимом в коде. Проверка одной командой:
curl -I https://example.ru/ HTTP/2 200 content-type: text/html; charset=utf-8 x-robots-tag: noindex, nofollow
x-robots-tag: noindex — запрет на уровне ответа; плагины CMS и конфиги nginx ставят его незаметно.
Canonical указывает на другую страницу
Если rel="canonical" на всех страницах ведёт на главную (типичный баг шаблона), поисковик считает сайт дублем одной страницы и выкидывает остальные.
Страницы отдают 4xx, 5xx или редиректы
Робот индексирует только ответы 200; URL с 404, 500 и цепочками редиректов выпадают. Массово найти их помогут проверка битых ссылок и «Статистика обхода».
Сайт закрыт паролем или антиботом
Basic Auth, капча на входе, антибот, файрвол по User-Agent и IP — для робота «сайт недоступен». Проверка URL в GSC покажет страницу глазами Googlebot.
Нет sitemap.xml
Без карты сайта робот находит страницы только по ссылкам — это медленно. Свежий sitemap.xml ускоряет обнаружение глубоких разделов.
JS-рендеринг без SSR
Контент появляется только после JavaScript — робот видит пустую страницу: Google рендерит JS с задержкой, Яндексу нужен готовый HTML. Для SPA — SSR или пререндеринг.
Молодой сайт: сколько ждать и как ускорить индексацию
Новый домен без внешних ссылок индексируется небыстро: счёт на дни и недели, это нормально. Как ускорить:
- добавьте сайт в Вебмастер и Search Console, загрузите sitemap.xml;
- отправьте ключевые URL через «Переобход страниц» в Вебмастере;
- в GSC нажмите «Запросить индексирование» в проверке URL;
- настройте IndexNow — мгновенное оповещение о новых URL;
- получите первые внешние ссылки — соцсети, каталоги, площадки.
Качество контента и фильтры
Если техника чистая, а страницы сайта не индексируются или выпадают волнами — смотрите на контент. Яндекс исключает документы как «малополезный контент, спам или избыточная реклама» (МПК): шаблонные тексты, сгенерированные описания, дубли.
Отдельный сценарий — взлом: дорвеи и вредоносный код ведут к вылету страниц из выдачи. Проверьте сайт сканером вредоносного кода, пройдите чеклист безопасности сайта и убедитесь, что структурированные данные валидны.
Блокировка РКН и недоступность при обходе
Роботы Яндекса ходят с российских IP: если сайт заблокирован Роскомнадзором или хостинг недоступен из РФ, робот получает ошибку соединения — сайт не индексируется Яндексом, хотя в Google порядок. Проверьте домен и IP в реестрах блокировок РКН; детали — в разборе блокировок РКН.
Та же механика у падений: 5xx и таймауты при обходе снижают частоту сканирования, недоступные страницы удаляются. Проверьте скорость загрузки сайта и настройте мониторинг доступности — о падениях нужно узнавать раньше краулера.
Робот не ждёт восстановления: страница, несколько раз ответившая ошибкой, выпадает из индекса и возвращается неделями. Мониторинг аптайма — инструмент SEO, а не только забота о пользователях.
Пошаговый план диагностики
| Симптом | Где смотреть | Вероятная причина | Что делать |
|---|---|---|---|
| site: даёт ноль страниц | robots.txt, метатеги | Disallow: / или noindex | Открыть сайт, переобход |
| «Исключена как дубль» | «Страницы в поиске» | Canonical на другой URL | Самоссылающийся canonical |
| Робот получает ошибки | «Статистика обхода», логи | 5xx, таймауты, антибот | Починить сервер, открыть краулеров |
| x-robots-tag: noindex | Вывод curl -I | Плагин CMS или конфиг сервера | Убрать заголовок |
| Страницы выпадают волнами | Исключённые в панелях | МПК, дубли, взлом | Улучшить контент, проверить на взлом |
| Исчез только из Яндекса | Реестры РКН, доступность из РФ | Блокировка или недоступность | Проверить реестры, поднять сайт |
Если причина ещё не найдена — чеклист:
- site: в Яндексе и Google;
- robots.txt: нет ли Disallow: /;
- curl -I и код страницы: noindex, X-Robots-Tag;
- canonical на ключевых страницах;
- коды ответов: 200 без редиректов;
- sitemap.xml в обеих панелях;
- причины исключения в отчётах панелей;
- переобход и запрос индексирования после правок.
Полную картину даст комплексный SEO-аудит: robots.txt, метатеги, коды ответов и директивы проверяются вместе.
Частые вопросы
Сколько ждать индексацию нового сайта?
От пары дней до нескольких недель. Панели вебмастера, sitemap и запрос переобхода заметно ускоряют процесс.
Почему в Яндексе сайт есть, а в Google нет (и наоборот)?
Индексы независимы: скорость обхода, требования к качеству и рендеринг JS различаются. Проверьте адресные запреты (Disallow для одного робота) и панель поисковика, где сайта нет, — причина указана в отчёте.
Влияет ли переезд на HTTPS на индексацию?
Да: меняются все URL, поисковики переклеивают сайт на новый протокол. При корректных 301-редиректах просадка временная — подробнее в статье о влиянии HTTPS на SEO.
Страницу удалили из индекса — как вернуть?
Найдите причину в Вебмастере или GSC, устраните (noindex, ответ 200, уникальность контента) и отправьте URL на переобход. Возврат займёт от нескольких дней.
Как проверить индексацию сразу многих страниц?
Сравните URL из sitemap с выгрузками «Страниц в поиске» и «Индексирования страниц»; резкое падение числа проиндексированных — сигнал проверить сервер и robots.txt.