Чому Google не видаляє з видачі сторінки, що віддають помилку 404?

У продовження моєму посту «Позитивна помилка 404 на сторінці».

Мэтт Каттс (Matt Cutts) ще раз пояснив вебмастерам, чому Google не видаляє з видачі сторінки, що віддають помилку 404 — Not Found (Не знайдено), і наскільки важливо грамотно проставляти коди стану HTML з точки зору пошукової оптимізації. З цією метою він опублікував твит з посиланням на відео 2011 року, дуже актуальне і на сьогодні.

Відповідаючи на питання користувача з Канзасу: «Чому Google так довго не видаляє з видачі посилання на сторінки з 404-ою помилкою?», головний інженер Google повідав фахівцям галузі наступне:

«Якщо підходити до питання з точки зору теорії, то частенько помилка 404 — Not Found (Не знайдено) може означати, що сторінка переміщена лише тимчасово і незабаром може повернутися на цей URL. Технічно ж, якщо ви хочете вказати на те, що сторінка була видалена або переміщена назавжди, то слід застосовувати код стану HTTP 410 — Gone (Більше не існує).

Але якщо говорити про те, чому сторінки з переміщеними або видаленими документами можуть ще довго показуватися у видачі, відповім, що частенько вебмастер припускається помилки, якщо використовує редирект 404, маючи на увазі при цьому помилку 503 — Service Unavailable (Сервіс недоступний).

Використання кодів стану HTML – дуже підступне питання оскільки ви постійно ризикуєте розчарувати користувача. Ось чому ми завжди намагаємося знайти баланс, грунтуючись на фідбєкі, витікаючому від користувачів, і ретельно прислухаючись до їх думок. Ми також намагаємося частіше сканувати сторінки з помилкою 404, намагаючись знайти «документ», що повернувся, оскільки зазвичай, через деякий час після відновлення документу, вебмастера починають «тихо ненавидіти» Google за те, що його алгоритми «не можуть просканувати» ресурс, що оновився.

Тепер поговоримо про код 410 — Gone (Більше не існує): якщо вебмастер припускається помилки, проставляючи такий код стану у разі перезавантаження сервера, реконструкції сайту і тому подібне – це зовсім не саботаж, а свідоцтво серйозного ушкодження, яке в перспективі може бути виправлене».