Что такое ошибка 404 и вредит ли она SEO
Ошибка 404 означает, что сервер получил запрос, но страницы по этому адресу нет. Сам по себе такой ответ не наказывает сайт: Google прямо пишет, что 404 для несуществующих страниц – нормальное поведение, и штрафа за них нет. Проблемы начинаются в другом месте: когда 404 отдают страницы, которые должны работать, когда на несуществующие адреса ведут ссылки внутри сайта и когда вместо честного ответа сервер выдает «пустышку» с кодом 200.
Разберем по порядку, чем ошибка 404 на сайте реально вредит. Первое – потеря посетителей: человек пришел из поиска или по ссылке, увидел «Страница не найдена» и ушел к конкуренту. Второе – потеря ссылочного веса: если на удаленную страницу вели внешние ссылки, их эффект пропадает, пока адрес не перенаправлен. Третье – лишний обход: робот тратит запросы на мертвые адреса вместо новых страниц, что заметно на каталогах с десятками тысяч URL.
Четвертое – искажение отчетов. В Вебмастере и Search Console список ошибок разрастается, настоящие проблемы тонут среди безобидных, и владелец перестает им доверять. Поэтому цель не в том, чтобы 404 на сайте не осталось вообще, а в том, чтобы каждый такой ответ был осознанным и ожидаемым.
- удаленная страница без замены должна отвечать 404 или 410
- страница с заменой должна отдавать 301 на близкий по смыслу адрес
- рабочая страница не должна отвечать 404 ни при каких условиях
- внутри сайта не должно быть ссылок на адреса с ошибкой
Где искать 404: Вебмастер, Search Console, логи и сканер
Один источник картины не дает, поэтому я собираю список из четырех мест и объединяю их в таблицу. В Яндекс Вебмастере открываю «Индексирование – Статистика обхода» и фильтрую ответы по коду 404; там же виден раздел «Исключенные страницы» с причиной «Не найдено». В Google Search Console это отчет «Страницы» и строка «Не найдено (404)», в ней есть примеры адресов и дата последнего обхода.
Второй источник – сканер вроде Screaming Frog или Netpeak Spider. Он идет по ссылкам так же, как робот, и показывает, на какой странице стоит ссылка, ведущая на ошибку. Это важно: из Вебмастера вы узнаете, что адрес отдает 404, а из сканера – где его источник. Третий источник – логи сервера: в них видно, какие несуществующие адреса запрашивают реальные пользователи и боты, и сколько раз. Четвертый – веб-аналитика: страницы с заголовком «Страница не найдена» в Метрике показывают, откуда приходят на ошибки.
Выгрузку я делаю в одну таблицу с колонками: адрес, код ответа, источник ссылки, число переходов за 90 дней, число внешних ссылок. Сортировка по трафику и ссылкам сразу показывает, с чего начинать: адрес без визитов и ссылок можно оставить в покое, а адрес с десятью внешними ссылками – срочный кандидат на редирект.
Не удивляйтесь старым адресам в отчетах. Робот возвращается к удаленным страницам неделями и месяцами, это нормально. Если адрес давно не встречается ни в ссылках сайта, ни в карте сайта, лишних действий он не требует.
Если вы не уверены, что поисковик вообще видит нужные страницы, начните с разбора причин в статье про индексацию сайта : там показано, как отличить ошибку на мертвой странице от проблемы на живой.
Мягкая 404: когда страницы нет, а сервер отвечает «все хорошо»
Мягкая ошибка 404, или soft 404, – это страница, которой по смыслу нет, но сервер возвращает код 200. Типичные случаи: снятый с продажи товар с надписью «Товар недоступен», пустая категория, поиск по сайту без результатов, страница пагинации за последней страницей списка, заглушка вместо удаленной статьи. Для человека разница не видна, для робота она принципиальна: он считает такой адрес рабочим и сохраняет его в индексе.
В Search Console такие адреса помечены как «Soft 404», и это один из самых полезных отчетов. В Яндексе специального статуса нет, но признаки те же: в «Исключенных страницах» появляются адреса с причиной «Недостаточно качественная» или «Малоценная страница», хотя по смыслу это пустые заглушки. Проверить подозрительный адрес можно запросом из консоли: нужен именно код ответа, а не внешний вид страницы.
Исправление зависит от ситуации. Если у товара есть замена – делаем 301 на близкую карточку или категорию. Если замены нет, а страница не вернется – 404 или 410. Если товар временно закончился и вернется, оставляем код 200, но страница должна быть полезной: наличие аналогов, подписка на поступление, ссылка на категорию. Пустые страницы фильтров и поиска закрываем от индексации или отдаем 404 для комбинаций, которых нет.
curl -s -o /dev/null -w '%{http_code}\n' https://ваш-сайт.ru/net-takoy-stranicy-123
404, 410 или 301: что выбрать для каждого адреса
Главная ошибка при чистке отчета – массово ставить 301 на главную страницу. Яндекс и Google считают такие перенаправления нерелевантными и нередко трактуют их как мягкие 404, так что вы получаете ту же проблему, только сложнее диагностируемую. Редирект имеет смысл, когда у старого адреса есть прямой аналог по смыслу.
Код 410 («удалено навсегда») говорит роботу, что страницы больше не будет. Яндекс убирает такие адреса из выдачи быстрее, чем после 404, Google различает их слабо. Я использую 410 для массово удаляемых разделов: акционные страницы, снятые с производства серии, технические копии.
Таблица ниже – рабочая шпаргалка, по которой можно принимать решение за минуту на каждый адрес из выгрузки.
| Ситуация | Что отдать | Почему |
|---|---|---|
| Страница переехала на другой адрес | 301 на новый адрес | Передаются сигналы и ссылки, посетитель попадает куда нужно |
| Товар снят, есть близкая замена | 301 на аналог или категорию | Пользователь находит то, что искал, ссылочный вес не пропадает |
| Раздел удален навсегда, замены нет | 410 или 404 | Честный ответ, робот быстрее прекращает обход |
| Адрес с опечаткой или мусорный | 404 | Редирект здесь не нужен, трафика и ссылок нет |
| Страница временно недоступна | 503 с заголовком Retry-After | Робот придет позже и не выкинет страницу из индекса |
Подробно про правила переезда, таблицу соответствий и цепочки перенаправлений я рассказывал в материале про 301 редирект : ему стоит следовать, когда адресов много и ошибиться легко.
Битые внутренние ссылки: чинить в первую очередь
Внешние ссылки на несуществующие адреса нам не подвластны, а внутренние – полностью. Если меню, хлебные крошки, блок «Похожие товары» или текст статьи ссылаются на адрес с ошибкой, виноват владелец сайта. Робот проходит по такой ссылке, тратит запрос, не получает ничего, а пользователь видит тупик.
Начинайте со сканера: включите режим «внутренние ссылки со статусом 4xx» и экспортируйте отчет «Источники ошибок». Для каждой пары «страница-источник – битый адрес» есть три варианта: заменить ссылку на актуальный адрес, убрать ее или поставить 301 на старый адрес, если на него есть внешние ссылки. Менять ссылку на живую предпочтительнее, чем оставлять редирект: меньше цепочек и быстрее загрузка.
Отдельная проблема – ссылки в шаблонах. Одна битая ссылка в подвале превращается в тысячи ошибок, потому что присутствует на каждой странице. После правки шаблона отчет сокращается сразу на порядки, поэтому проверьте сначала повторяющиеся блоки, а потом отдельные тексты.
Для интернет-магазинов типичная причина – товар, который сняли с витрины, а ссылки из подборок и акций остались. Решение – автоматика: при отключении товара система либо снимает ссылки на него в подборках, либо подставляет ближайшую замену. Если такой логики в движке нет, ее стоит заложить в техническое задание.
Для каталогов с тысячами карточек это отдельная задача: в рамках SEO-продвижения интернет-магазина я настраиваю правила для снятых товаров, пустых категорий и фильтров, чтобы ошибки не накапливались.
Как оформить страницу 404, чтобы посетитель остался
Страница 404 – это шаблон, который видят те, кого ошибка уже настигла. Хорошая страница решает одну задачу: вернуть человека в нужный раздел, не заставляя его искать выход самому. Для SEO здесь важны два условия. Первое – код ответа должен быть именно 404, а не 200. Второе – шаблон не должен быть клоном главной, иначе возникают дубли и путаница в индексе.
На странице я оставляю общий каркас сайта с меню, короткое понятное сообщение без шуток, поле поиска и три-пять ссылок на ключевые разделы или популярные материалы. Для интернет-магазина полезны ссылки на основные категории и форма поиска по каталогу, для сайта услуг – список услуг и телефон. Адрес не должен меняться: пользователь остается на запрошенном URL, чтобы он мог исправить опечатку.
Чего не делать: автоматически перебрасывать посетителя на главную через несколько секунд, прятать 404 за редиректом, закрывать страницу в robots.txt и ставить на нее счетчики в режиме обычной страницы. Для аналитики создайте отдельное событие в Метрике по показу 404, чтобы видеть, с каких адресов и источников приходят на ошибку.
Проверка проста: откройте несуществующий адрес, посмотрите ответ в панели разработчика и убедитесь, что код 404, а страница содержит ссылки на разделы.
Если страницы ошибок и перенаправления настроены хаотично, это один из симптомов, которые мы закрываем в рамках SEO-продвижения сайта : сначала чистим техническую часть, потом работаем со спросом.
Чек-лист: как навести порядок с ошибками 404 за вечер
Если сайт небольшой, всю работу можно выполнить за один вечер. Для крупных сайтов порядок тот же, но этапы растягиваются и проходят по разделам. Вот последовательность, которую я использую в аудитах.
- выгрузить 404 из Вебмастера и Search Console и добавить данные сканера
- отметить адреса с трафиком и внешними ссылками за последние 90 дней
- для каждого такого адреса подобрать близкую страницу и поставить 301
- проверить, что заведомо несуществующий адрес отдает именно 404
- найти мягкие 404 по отчету Search Console и по шаблонам пустых страниц
- заменить битые внутренние ссылки в меню, подвале и текстах
- убрать мертвые адреса из sitemap.xml и обновить файл
- оформить страницу 404 с поиском и ссылками на разделы
Такую проверку я включаю в SEO-аудит сайта вместе с индексацией, дублями и скоростью: ошибки 404 редко бывают единственной проблемой и чаще идут рядом с редиректами и картой сайта.
Пример из практики и когда нужна помощь
На сайте с каталогом из нескольких тысяч позиций ошибки 404 накапливаются неизбежно: ассортимент меняется, поставщики уходят, адреса переименовываются. В магазине шин в Москве я начинал с выгрузки ответов сервера и деления адресов на три группы: с трафиком и ссылками, без трафика, но с внутренними ссылками, и мусорные. Для первых ставил 301, для вторых убирал ссылки, а мусорные оставлял с честным 404.
Эффект такой чистки обычно виден не в резком росте позиций, а в стабильности: ошибок в отчетах меньше, обход направлен на живые страницы, а переходы с поиска не теряются на пустых адресах. Это не фокус и не обещание роста, а гигиена, которая делает остальные работы по сайту заметнее.
Измеряйте результат через две-четыре недели: число ошибок «Не найдено» в Вебмастере и Search Console должно идти вниз, а число мягких 404 стремиться к нулю. Если обходы по-прежнему возвращаются к мертвым адресам, ищите их источник – чаще всего это старые ссылки в карте сайта, фидах или чужие публикации.
Если ваш сайт показывает сотни 404 в отчетах, вы не уверены, какие из них критичны, или после редизайна трафик просел, пришлите доступ к Вебмастеру и Search Console. Я проверю коды ответа, выделю адреса, которые стоит спасать, и составлю таблицу правок по приоритету.
Каталог с тысячами позиций и сезонным спросом показан в кейсе SEO интернет-магазина шин в Москве : там видно, как посещаемость такого проекта меняется по неделям.