Почему сайт не индексируется: проверка по шагам

Сначала уточните симптом

Запрос «почему сайт не индексируется» часто объединяет три ситуации. Поисковая система может не знать URL, знать его, но исключить из индекса, либо индексировать страницу, но не показывать по выбранной фразе. Проверять домен одним оператором site: недостаточно: главная может быть в поиске, пока карточки закрыты шаблонным noindex.

Возьмите один канонический URL проблемного типа. Проверьте его в Google Search Console и Яндекс Вебмастере: известен ли адрес, разрешён ли обход, какой canonical выбрала система и какую причину исключения сообщает. Затем откройте страницу без авторизации на мобильном и десктопе. Так жалоба превращается в повторяемый диагноз.

Индексирование не равно позиции. Если панели подтверждают включение URL, следующий вопрос — отвечает ли страница запросу, соответствует ли региону и содержит ли самостоятельную ценность. Повторение ключевой фразы не исправит техническую блокировку и не сделает слабую страницу полезнее.

Обход

Робот обнаруживает URL и загружает ответ сервера.

Индексирование

Система обрабатывает страницу и решает, хранить ли её как возможный результат.

Ранжирование

Индексированные документы выбираются для конкретного запроса и контекста.

Проверьте технический маршрут в одном порядке

Сначала сервер: целевая страница стабильно отвечает 200, перенесённая — одним постоянным редиректом, удалённая — 404 или 410. Тайм-ауты, 5xx, неверный сертификат и защита CDN способны мешать роботу, даже когда страница открывается владельцу из сохранённой сессии. Отдельно проверьте мягкую 404: ответ 200 с пустым содержанием или сообщением об отсутствии товара.

Затем правила доступа и выбора версии. Robots.txt управляет обходом пути, meta robots и X-Robots-Tag — индексированием доступного ответа. Если закрыть страницу в robots.txt, робот может не увидеть размещённый внутри noindex. Canonical, sitemap, редиректы и внутренние ссылки должны указывать на одну основную версию.

Для JavaScript-сайта сравните исходный и отрисованный HTML. Заголовок, текст, ссылки и статус товара должны появляться без клика и прокрутки. Проверьте заблокированные скрипты, ошибки браузера и пустой контейнер до ответа API. Если технический путь чист, оценивайте дубли, качество и соответствие поисковому намерению.

• HTTP-ответ и редиректы
• robots.txt и noindex
• canonical, sitemap и внутренние ссылки
• отрисованный основной контент
• дубли и соответствие запросу

От одного URL переходите к шаблону

После подтверждения причины проверьте соседние страницы того же типа. Если один noindex, canonical или пустой блок повторяется во всей выборке, исправлять нужно шаблон, а не записи CMS. Разные симптомы разделяйте: массовая проблема фильтра не должна смешиваться с единично удалённой карточкой.

KILENI использует повторный обход как доказательство реализации. На eco-santeh.ru финальная проверка дала 509/509 успешных ответов, отсутствие пропусков основных тегов в контрольной выгрузке и Lighthouse 36 → 57. На засорсервис.рф 575/575 URL открылись, а CLS в двух тестах изменился с 0,519 → 0,0001. Это не прогноз индексации.

Сохраняйте метод и дату измерения. В отчёте должны остаться исходный ответ, исправленный ответ, выборка URL и ограничение теста. Для индексации дополнительно фиксируйте статус в панелях вебмастеров: успешный обход собственного сканера не доказывает включение страницы поисковой системой.

Исправьте причину, затем запросите переобход

Не меняйте robots.txt, canonical и sitemap одновременно наугад. Исправьте подтверждённую первопричину, разверните изменение на контрольной группе и повторите тот же тест. Если результат стабилен, распространите исправление на шаблон. Такой выпуск проще принять и откатить, чем пакет несвязанных настроек.

После релиза отправьте приоритетные URL на переобход через официальные инструменты и наблюдайте отчёты. Повторная отправка не гарантирует немедленного индексирования. Системе нужно заново загрузить и обработать документ; срок зависит от сайта и изменения. Техническую готовность подтверждают сразу, поисковый результат — после обработки.

Если URL уже индексирован, вернитесь к намерению. Сравните страницу с тем, что человек ожидает по запросу: услугу, инструкцию, категорию или карточку. Уточните регион, наличие, цену, доказательства и следующий шаг. Не расширяйте текст ради объёма — добавляйте факты, которые помогают выбрать или выполнить действие.