Как Google обрабатывает в выдаче страницы с ошибками 404 и 410

В новом обучающем видео Мэтт Каттс, глава команды по борьбе с поисковым спамом Google, объясняет, в чём для поискового робота разница между кодами состояния HTTP 404 (Not Found) и 410 (Gone).
И 404 и 410 коды ошибок веб-страницы свидетельствуют о ее недоступности.

Однако ошибка 404 обозначает, что запрошенному URL не соответствует никакая страница сайта. Этому могут быть две причины: ссылка неверна или ранее существовавшая страница была удалена. Код 404 также не сообщает, была или появится ли страница в будущем или она исчезла навсегда.

410 код состояния http-сервера определяется как «удален». Т.е. затребованный URL был, но больше не существует и навсегда удален с сервера.

Таким образом, Google относится к двум кодам немного по-разному. В случае кода ошибки 404 Google будет «защищать» страницу и не пометит ее как удаленную в течение 24 часов. И спустя некоторое время робот снова обращается к странице и перепроверяет ее.

Если Google-бот находит на странице 410 ошибку, он автоматически помечает ее в результатах выдачи как удаленную.

Если страницы больше нет, и вы думаете, что это временно, используйте код ошибки 404. Если страницы больше нет, и вы не знаете другую страницу, которой можно было бы заменить ее, и вы знаете, что эта страница больше никогда не появится, используйте код ответа сервера 410.

Студент написал более 100 троянов за два года Google накрыла волна запросов на удаление ссылок на пиратский контент. Ежеминутно компания получает 1500 таких требований. Эксперты предупреждают о распространении мобильного вируса Simplocker В отчете McAFEE LABS за IV квартал сообщается о методах, использованных в резонансных случаях хищения данных Google представил инструмент борьбы с воровством контента Dropbox сливал кому попало секретные URL через referer Ростелеком фильтрует трафик по URL, но не через DPI — правда ли дело в экономии? Проверить индексацию сайта в Яндекс.Вебмастере теперь невозможно За обнаружение «дыры» в Gmail, раскрывшей полмиллиарда адресов, Google заплатил $500 Софт для скачивания музыки из интернета