Почему страницы сайта не попадают в Яндекс и Google: технический чек-лист
Если страница существует на сайте, это ещё не означает, что поисковая система обязана добавить её в индекс. Сначала робот должен обнаружить URL, получить корректный ответ сервера, убедиться, что индексация разрешена, а затем решить, представляет ли страница самостоятельную ценность.
Проверьте robots.txt и meta robots
Частая техническая причина — запрет обхода раздела или директива noindex в HTML. Особенно это происходит после переноса сайта с тестового домена, когда защитные настройки случайно остаются в рабочей версии.
Убедитесь, что страница отдаёт 200 OK
Поисковому роботу важен фактический HTTP-ответ. Страница может визуально показываться пользователю, но отдавать 404 или формировать цепочку редиректов. Проверять нужно не только браузером, но и заголовки ответа.
Проверьте canonical
Если canonical указывает на другой URL, поисковая система получает сигнал, что текущая страница является дублем. Это особенно важно для фильтров, параметров сортировки, пагинации и страниц, доступных по нескольким адресам.
Добавьте URL в sitemap и внутренние ссылки
Sitemap помогает обнаруживать страницы, но не заменяет нормальную структуру сайта. Важные материалы должны быть доступны через навигацию и внутренние ссылки, а не существовать только в XML-файле.
Не создавайте десятки почти одинаковых страниц
Если страницы отличаются только несколькими словами, поисковой системе может быть сложно увидеть самостоятельную ценность каждой. Это особенно актуально для автоматически сгенерированных фильтров и шаблонных посадочных страниц.
Проверяйте изображения отдельно
Проверьте, как страницу видит робот
Некоторые сайты отдают разный контент в зависимости от cookies, авторизации или JavaScript. Для диагностики важно посмотреть HTML, который доступен без пользовательской сессии, и убедиться, что основной текст и ссылки присутствуют в версии, доступной поисковому роботу.
Оцените внутреннюю связность
Страница, на которую не ведёт ни одна ссылка с других разделов сайта, фактически изолирована. Даже если она находится в sitemap, её место в структуре сайта остаётся непонятным. Для важных материалов полезны ссылки из тематических страниц, хлебные крошки и блоки связанных публикаций.
Не ждите мгновенного эффекта после исправления
После снятия технических запретов поисковику нужно повторно обойти URL и переоценить страницу. Поэтому корректность изменений проверяют сразу, а изменения индекса — уже по данным вебмастеров и фактической выдаче спустя некоторое время.
Для индексации изображений они должны быть доступны роботу по постоянному URL, иметь корректный ответ сервера и находиться на индексируемой странице. Понятные имена файлов и ALT помогают поисковой системе понять контекст изображения, но не заменяют содержательный текст страницы.
Технические причины индексации часто связаны с шаблоном, сервером и структурой сайта. В таких случаях полезна техническая поддержка. Если проблема сопровождается медленной загрузкой, посмотрите также чек-лист ускорения 1С-Битрикс.