Robots.txt и sitemap.xml: как настроить техническую основу индексации сайта
Robots.txt и sitemap.xml решают разные задачи. Первый файл подсказывает поисковым роботам, какие разделы не стоит обходить, второй помогает обнаружить канонические страницы сайта. Ошибки начинаются, когда sitemap пытаются использовать как гарантию индексации, а robots.txt — как инструмент удаления страниц из поиска.
Что стоит закрывать в robots.txt
Обычно это служебные страницы, внутренний поиск, административные URL и комбинации параметров, которые не несут отдельной ценности. Но универсальный набор директив опасен: на одном сайте параметр создаёт дубль, а на другом — полноценную посадочную страницу.
В sitemap должны попадать только нужные URL
XML-карта не должна содержать страницы с редиректом, 404, noindex или canonical на другой адрес. Желательно добавлять только те страницы, которые действительно должны участвовать в поиске.
Не забывайте про изображения
Если изображения важны для поиска, они должны иметь постоянные доступные URL, корректный ответ сервера и находиться на индексируемых страницах. Для контентных разделов полезно включать изображения в sitemap, если это поддерживает текущая схема генерации.
Sitemap нужно обновлять после изменения структуры
После переноса разделов, изменения ЧПУ или массового удаления страниц карта сайта должна отражать новую структуру. Старые URL с 301 лучше не оставлять в XML надолго.
Проверяйте файлы как обычный пользователь
- robots.txt доступен по корневому адресу;
- sitemap.xml отдаёт 200;
- XML корректно формируется;
- URL в карте открываются;
- ссылки используют HTTPS и основное зеркало;
- нет тестовых доменов.
Не путайте обнаружение с индексацией
Даже корректная карта сайта не означает, что каждая страница попадёт в выдачу. Поисковая система отдельно оценивает доступность, дублирование и ценность содержимого. Поэтому техническая настройка должна работать вместе с нормальной структурой и внутренней перелинковкой.
Проблемы с генерацией sitemap, параметрическими URL и шаблонами можно исправлять в рамках технической поддержки. Если сайт недавно менял структуру, дополнительно посмотрите чек-лист SEO после редизайна.