Сайт пропал из поиска: как найти причину за час
Вчера сайт находился по названию компании, сегодня — пусто. Паника здесь плохой советчик: в девяти случаях из десяти причина скучная и техническая, а не «поисковик обиделся». Показываю порядок диагностики, которым пользуюсь сам, — от самого дешёвого действия к самому дорогому.
Сначала важное: «сайт пропал из поиска» — это не диагноз, а симптом. За ним стоят как минимум две принципиально разные ситуации, и лечатся они по-разному. Пока вы не выяснили, какая у вас, любые действия — стрельба наугад.
Сначала разделите два случая
Случай первый: страницы выпали из индекса. Поисковик их не знает вообще. Проверяется за минуту: наберите в поиске site:вашсайт.ру. Если результатов ноль или осталась пара страниц из сотни — это про индексацию. Причина почти всегда техническая: робот не смог зайти или ему запретили.
Случай второй: страницы в индексе, но упали в позициях. По site: всё на месте, а по рабочим запросам вас нет на первых страницах. Это уже про ранжирование: конкуренты, изменение алгоритма, потеря релевантности, реже — санкции. Лечится иначе и дольше.
site: недоступен
Поисковики не любят автоматические запросы и быстро показывают капчу. Надёжнее посмотреть в панели вебмастера: там есть и статус страниц, и раздел с ограничениями, и инструмент проверки конкретного URL. Панель показывает то, что реально знает робот, а не то, что вам отдали в браузере.
Порядок проверки: от дешёвого к дорогому
Смысл порядка простой — сначала то, что проверяется за секунды и чаще всего оказывается виноватым.
- Сайт вообще открывается? Не у вас — вообще. С мобильного интернета, из другой сети, лучше из другой страны. Бывает, что сайт лежит только для внешнего мира, а из офиса открывается из кэша.
- Какой код отдаёт сервер? Нужен 200 на главной и на важных страницах. 5xx, зависание и таймаут для робота равносильны «сайта нет».
- HTTPS живой? Сертификат действителен, цепочка полная, редирект с
http://ведёт в рабочее соединение. Это причина номер один среди «мистических» исчезновений. - robots.txt. Открывается? Не содержит
Disallow: /, оставшегося со стадии разработки? Не закрывает роботов конкретных поисковиков? - Мета-тег robots и заголовок X-Robots-Tag. Ищем случайный
noindex. Особенно после переезда с тестового домена — там он стоит почти всегда и почти всегда переезжает вместе с сайтом. - Карта сайта. Отдаётся, содержит живые адреса, в ней нет удалённых страниц и адресов со старого домена.
- Панель вебмастера. Раздел санкций и ограничений — есть ли что-то. И проверка ответа сервера тем самым роботом: он ходит с настоящих адресов поисковика, снаружи это не воспроизвести.
- Не менялись ли адреса страниц. Смена CMS, «наведение порядка» в URL, включённый или выключенный слеш на конце — всё это меняет адреса. Без редиректов старые страницы умирают, новые начинают жизнь с нуля.
Семь причин, которые встречаются чаще всего
| Причина | Как выглядит | Что делать |
|---|---|---|
| Сертификат / HTTPS | В браузере всё хорошо, у робота — ошибка подключения | Проверить цепочку и автопродление, а не только срок |
| Случайный noindex | Страницы известны, но помечены как запрещённые | Убрать мета-тег и заголовок, отправить на переобход |
| robots.txt закрыл всё | Обход остановился целиком, включая главную | Вернуть корректные правила, проверить в панели |
| Сменились адреса страниц | Старые URL отдают 404, позиции обнулились | Настроить 301 со старых адресов на новые |
| Хостинг лежит или тормозит | Периодические 5xx и таймауты в логах | Разобраться с хостингом, посмотреть аптайм |
| Домен не продлён | Сайт недоступен целиком, DNS не резолвится | Продлить и включить автопродление — обидная потеря |
| Санкции | Прямое указание в панели вебмастера | Устранять то, что написано, и подавать на пересмотр |
Обратите внимание: санкции — в конце списка, и не случайно. Их подозревают первыми, а встречаются они реже всего. Если в панели написано «ограничений нет» — значит, их нет, и надо искать поломку.
Девять месяцев без сертификата — и полная тишина в выдаче
Сайт открывался, хостинг работал, контент был. В панели вебмастера — «не удалось подключиться из-за ошибки сервера» и одновременно честное «ограничений нет». Классическая развилка: раз санкций нет, значит до сайта банально не дошли.
Проверка публичных логов выпуска сертификатов дала ответ: единственный сертификат домена был выпущен спустя девять месяцев после запуска. Всё это время http:// жёстко редиректил на https://, который не поднимался. Робот честно шёл по редиректу — и упирался в нерабочее соединение. Без robots.txt обход всего сайта останавливается, поэтому в выдаче осталась голая ссылка без заголовка, а в других поисковиках не было и её.
Что из этого стоит забрать: ошибка подключения в панели — это не «поисковик глючит», а буквальное сообщение о том, что сайт недоступен роботу. И проверять надо не срок сертификата, а настроено ли автопродление: тихо протухший сертификат выключает сайт из индекса так же надёжно, как удаление всех страниц.
Чего точно не надо делать в панике
- Массово переписывать тексты. Если страницы выпали из индекса, содержание вообще ни при чём — их просто не читают.
- Закупать ссылки «для восстановления». В лучшем случае деньги на ветер, в худшем — реальный повод для санкций.
- Пересоздавать сайт с нуля. Самый дорогой способ не решить проблему: новый сайт унаследует ту же неисправную инфраструктуру.
- Отправлять страницы на переобход по десять раз в день. Очередь от этого быстрее не идёт, а нервы тратятся.
- Менять домен. Крайняя мера, которая обнуляет всё накопленное. Прежде чем её обсуждать, нужно точно знать, что дело в домене.
Что делать после того, как причина найдена
Починить — половина дела, дальше нужно вернуть внимание робота:
- Убедиться, что поломка действительно устранена — проверкой ответа сервера в панели, а не «у меня открывается».
- Отправить карту сайта заново и запросить переобход ключевых страниц.
- Настроить IndexNow, если его нет: тогда следующая публикация попадёт в очередь за минуты.
- Заложить ожидание. Возврат в индекс занимает от нескольких дней до пары недель, и это нормально — обход идёт волнами.
- Поставить мониторинг: раз в неделю снимать позиции по своему списку запросов и проверять доступность. Тогда следующая поломка обнаружится сама, а не через три месяца по упавшей выручке.
Не хочется копаться самому?
Запустите экспресс-проверку на главной: она за десять секунд покажет доступность, сертификат, robots, карту сайта и мета-теги. Половина причин исчезновения из поиска видна прямо в этом отчёте.
Если отчёт чистый, а сайта в поиске всё равно нет — напишите, посмотрю глубже. Такие случаи обычно решаются быстро: непонятно только пока не знаешь, где искать.