Код ответа это инструкция, которую получает посетитель, заходя на страницу сайта. С помощью этой инструкции браузер может скорректировать обработку страницы на стороне посетителя. На первый взгляд, код ответа сервера фактор, не имеющий никакого отношения к продвижению сайтов. Однако это не так. Да, настройки ответа сервера не могут улучшить ранжирование сайта, но допущенная в них ошибка может поставить крест на ваших планах покорения топа результатов поиска.
Поисковые роботы, как и посетители, учитывают коды ответов сервера и на их основании корректируют обработку страниц. В частности, по кодам ответа поисковые системы принимают решение о том, что:
– страница существует и работает корректно;
– страница не существует;
– страница перемещена навсегда;
– страница временно перемещена;
– сервер загружен и не может обработать запрос.
Существуют и другие, менее значимые, инструкции.
Поисковые системы добавляют в свою индексную базу только те страницы, которые отдают код ответа 200, означающий «страница существует и доступна для просмотра». Все важные страницы, которые мы хотим «скормить» поисковому роботу, должны отдавать код ответа 200. Если страница использует редирект и лишь после перемещения отдает код ответа 200, поисковая система индексирует только конечную страницу.
Страница-шлюз может быть удалена или понижена в ранжировании (это зависит от типа редиректа). Если страница отдавала код ответа 200 и попала в индексную базу, но позже была удалена и теперь отдает код 404, она со временем удаляется из индексной базы. Если на странице поставить 301 редирект, то через некоторое время она будет также удалена из индекса, а ее вес в некоторых случаях будет передан той странице, на которую ссылался редирект.
К сожалению, Яндекс очень долго осуществляет переиндексацию страниц с редиректом: были зафиксированы случаи, когда переклейка происходила почти год.
Существует большое количество кодов для обозначения редиректа. Укажем здесь основные, наиболее важные для поисковых систем: 301 “постоянное перенаправление”. Означает, что страница перемещена навсегда. Этот редирект используется чаще всего.
В случае если адрес страницы изменился навсегда, что происходит, например, при редизайне или реструктуризации сайта, 301 редирект позволяет сохранить входящие внешние ссылки за счет переклейки их веса на новые адреса страниц. Яндекс обрабатывает этот редирект очень долго, может пройти до года, прежде чем страницы склеятся.
302, 303, 307 «временное перенаправление». Веб-мастер таким образом указывает роботу поисковых систем, что страница перемещена временно, а значит, ее не нужно удалять из индексной базы. В этом случае Яндекс может добавить в свою базу обе страницы, но отображать только одну из них в результатах поиска.
Из инструкций Яндекс. Вебмастер: При постоянном перенаправлении (301 код) между внутренними страницами хоста в результатах поиска будет отображаться цель. При временном перенаправлении (302, 303, 307) между внутренними страницами хоста в результатах поиска будет отображаться наиболее компактный URL.
Если вы изменили адрес страницы, выложили новую версию сайта или просто хотите убрать дубликат используйте 301 редирект. Важно использовать именно одношаговый редирект, не создавайте сложных конструкций из нескольких редиректов.
Код ответа 404 используется для указания браузеру или поисковой системе, что страницы не существует. Сервер в этом случае отображает или стандартную страницу “по этому адресу ничего не найдено”, или страницу-заглушку, если создан специальный шаблон для несуществующих страниц.
Важно не путать серверный ответ 404 и 404-ю страницу-заглушку. Некоторые веб-мастера по каким-то им одним ведомым причинам на 404-й странице размещают заглушку с указанием “страница не существует”, но на уровне сервера отдают код ответа 200. Посетитель этого не замечает, но поисковая система воспринимает такие страницы как существующие, индексирует их и заносит в свою базу как дубликаты. Используя подобную уязвимость, на сайте вы можете создать сколь угодно большое количество дублирующихся страниц, понизив вес сайта для поисковой системы.
Если страницы не существует, сервер должен отдавать ответ 404. В этой статье мы разобрали основные серверные ответы и методы работы с ними. Используя эту информацию, вы можете избежать фатальных ошибок, приводящих к исключению страниц сайта из выдачи, созданию дополнительных дубликатов и потере веса при переклейке страниц.