Бывает, у страницы резко снижается трафик и конверсия из-за выпадения из поискового индекса. В целом на ресурс это не повлияет, если такое произошло единожды. Но когда страницы выпадают массово, нужно срочно действовать. Иначе это повлечет за собой спад позиций.
Причины и следствия исключения страниц из индекса ПС
Для отслеживания состояния сайта достаточно стандартных инструментов в панелях веб-мастеров от Яндекса и Google.
В Яндекс веб-мастере, чтобы определить, ранжируются ли страницы в выдаче, надо зайти в раздел «Индексирование» — «Страницы в поиске». В нем есть отчет по исключенным страницам сайта, а также причины, которые к этому привели.
В Google Search Console подобная информация расположена в рубрике «Покрытие» — «Исключенные».
Некачественный контент
Это частая причина, по которой поисковики могут исключать страницы из поиска. К ней относятся:
Низкий процент уникальности текста. Яндекс, особенно Google, любят только оригинальный контент. Копипаст приведет к санкциям. Для проверки текста пользуются сервисами Content-watch, Advego и Text.ru.
Переспам ключевых фраз или слов. Если в тексте часто повторяется одно и то же слово либо словосочетание, ПС исключат такую страницу из индекса.
Для проверки текстового материала на переоптимизацию можно воспользоваться сервисом Istio. Он отображает процент вхождения каждого слова относительно всего материала. Частота от 3 до 4% считается оптимальной.
Публикация на страницах невидимого для пользователя текста с содержанием ключевых слов или фраз. Это черные методы SEO-продвижения. ПС уже умеют распознавать такие манипуляции.
В Яндекс веб-мастере страницы с плохим контентом расположены в исключенных со статусом «недостаточно качественная страница». В GSC они имеют статус «Страница просканирована, но пока не проиндексирована». Google так и не возьмет их в индекс, пока контент на ней не приведут в порядок.
Только качественная работа над контентом, проделанная для пользователей, позволит избежать блокировки и санкций.
Технические проблемы на сайте
Встречаются 2 распространенные ошибки:
- Код ответа страницы 404 Not Found. Если робот натыкается на несуществующую страницу с этим кодом, он исключает ее из индекса. Такое происходит по нескольким причинам:
- установлен запрет в файле robots.txt директивой Disallow, либо страница закрыта от индексации прописанным в ее коде тегом robots=noidex. Некоторые SEO-специалисты после доработок над сайтом забывают открыть его для индексации.
- страница может стать недоступной и отдавать код 404 после обновления некоторых плагинов. К примеру, распространенный инструмент All in Seo Pack для cms-системы wordpress после обновления способен самостоятельно активировать в настройках запрет к индексации определенной рубрики.
2. Код ответа 505. Обычно это вина хостинг-провайдера, на котором размещен проект. Если сайт в определенное время посещало много пользователей, хостинг мог не выдержать нагрузки и дать сбой, а в это же время на сайт заходил робот ПС и тоже определил 505 код ошибки. Естественно, страница будет исключена из поиска по причине технической проблемы.
Чтобы проверить состояние страницы и узнать, не закрыта ли она от индексации файлом robots.txt, в Яндекс веб-мастере есть инструмент для проверки ответа сервера. Нужно ввести URL адрес и нажать проверить. 200-й код означает, что страница отвечает и доступна. При запрете к индексации веб-мастер выдаст соответствующее уведомление ниже.
Дубли на сайте
Страницы с одинаковым или похожим содержанием Google и Яндекс исключают из выдачи. Во-первых, это неудобно для пользователя. Зачем две и более страниц? Хватит одной. Во-вторых, поисковики вынуждены тратить дополнительные ресурсы для индексации. Поэтому они негативно относятся к дублям.
Проверка в Яндекс веб-мастере делается в том же разделе исключенных страниц, только с сортировкой URL по статусу «Дубли». Если ее нет в панели, значит робот еще не находил дублирующие страницы и все в порядке.
Когда у ресурса много страниц, то лучше воспользоваться бесплатным сервисом ApollonGuru для ускоренной проверки.
Проблема с дублями решается настройкой 301 редиректа или прописыванием атрибута rel=canonical для них.
Вывод: это распространенные ошибки, по которым страницы могут перестать ранжироваться. Но есть и другие, которые стоит учитывать: бессистемная закупка обратных ссылок, много рекламы и всплывающих окон, проблемы с навигацией, юзабилити. На всё это ПС накладывают санкции.
