Ситуация, которую видно почти в каждом аудите: сайт работает, страницы открываются в браузере, а в поиске их нет. Причины почти всегда технические, и почти никогда не решаются «закупкой ссылок».
1. Доступность страницы
-
Страница должна отдавать 200 без авторизации и без региональных ограничений.
-
Нет
meta robots noindex— его часто забывают снять после тестового периода. -
robots.txt не блокирует ни саму страницу, ни ресурсы, нужные для её отрисовки.
2. Canonical, который говорит «не индексируй меня»
Самая недооценённая причина. Если страница указывает canonical на главную, поисковик понимает это буквально: «я дубль главной». Такая страница не попадёт в индекс, сколько бы её ни переобходили.
Отдельно для многоязычных сайтов: языковые версии не должны указывать canonical на русскую версию. Это разные документы, у каждого — свой canonical на себя, а связь между ними описывается через hreflang.
3. Сайт на JavaScript
Если страница собирается в браузере, в исходном HTML может не быть ничего, кроме пустого контейнера. Надёжные варианты — серверный рендеринг или пререндер, при которых текст, мета-теги и микроразметка приходят готовыми. Ошибки API, заблокированные ресурсы и бесконечная загрузка ухудшают индексацию, даже если карта сайта идеальна.
4. robots.txt и sitemap не удаляют страницы из индекса
Частое заблуждение. Эти файлы влияют на обход, но не убирают уже известные поисковику адреса. Чтобы страница выпала из индекса, нужен либо noindex на доступной для обхода странице, либо код 404/410, либо инструмент удаления в панели вебмастера.
5. Что делать практически
-
Подтвердить права в Яндекс.Вебмастере и загрузить актуальную карту сайта.
-
Проверить конкретный адрес через инструмент проверки страницы: что видит робот в HTML.
-
Использовать IndexNow, чтобы сообщать о новых и изменённых адресах, не дожидаясь планового обхода.
-
Проверять выборку разных типов страниц — главную, услугу, статью, языковую версию — а не одну.
Чего делать не стоит
Менять canonical и содержимое каждый день в попытке «расшевелить» робота. Это даёт обратный эффект: поисковику нужно увидеть стабильную картину на нескольких циклах обхода, чтобы принять решение об индексации.
Если страницы не индексируются, а причина не находится — можем разобрать конкретный сайт и показать, на каком шаге обрывается цепочка.
