Методы закрытия страницы сайта от индексации

Выбор правильного способа закрыть страницу от индексации критически важен для SEO. Ошибка может привести к тому, что нужная страница исчезнет из поиска или, наоборот, ненужная будет там болтаться, забирая на себя бюджет краулинга и вес ссылок.

Вот подробное сравнение всех основных методов, их плюсы и минусы.

Сравнение основных методов запрета индексации

Для удобства восприятия ключевые параметры сведены в таблицу, а ниже даны развернутые пояснения.

Метод	Как это работает	Плюсы	Минусы	Когда использовать
`robots.txt` с директивой `Disallow`	Запрещает сканирование (crawl) страницы, но не гарантирует запрет индексации .	Проще всего настроить, эффективно экономит бюджет краулинга, закрывая целые разделы (например, `/admin/`, `/search/`) .	Главный минус: страница всё равно может попасть в индекс, если на неё ссылаются другие сайты. В сниппете не будет описания, так как робот не смог её прочитать .	Для технических разделов, служебных файлов, страниц с параметрами, которые не должны быть в индексе, но на них не жалко потерять вес ссылок. Категорически нельзя использовать для страниц, которые уже нужно удалить из выдачи .
Мета-тег `noindex`	Дает команду поисковому роботу не добавлять страницу в индекс. Работает, только если робот может её просканировать .	Самый надежный способ убрать страницу из выдачи, сохранив к ней доступ пользователей. Работает с любой страницей .	Требует доступа к HTML-коду страницы. Бесполезен, если страница заблокирована в `robots.txt` (робот до него просто не дойдет) .	Для страниц, которые должны быть доступны людям, но не нужны в поиске: "Спасибо за заказ", личные кабинеты, корзина, служебные страницы .
HTTP-заголовок `X-Robots-Tag: noindex`	Передает директиву `noindex` на уровне сервера, в заголовках ответа .	Работает для любых типов файлов (PDF, DOC, изображения), а не только HTML. Незаменим для динамических страниц, где сложно редактировать `<head>` .	Требует доступа к настройкам сервера (Apache, Nginx). Сложнее в настройке и отладке, чем HTML-тег .	Чтобы запретить индексацию не-HTML контента (например, прайс-листов в PDF) или для сайтов, где сложно управлять HTML-кодом.
Атрибут `rel="canonical"`	Указывает на главную (каноническую) версию страницы среди дублей. Передает ей весь вес ссылок .	Консолидирует ссылочный вес, защищает от размывания ранжирующих сигналов. Лучший способ борьбы с дублями (версии для печати, UTM-метки) .	Это рекомендация, а не директива. Поисковик может ее проигнорировать, если посчитает каноническую страницу менее качественной . Не убирает страницу из индекса мгновенно.	Для URL с одинаковым контентом: товар в нескольких категориях, страницы с сортировкой, версии с www и без, HTTP и HTTPS .
HTTP-статус 404 (Not Found) или 410 (Gone)	Сообщает, что страница удалена. 410 — более явный сигнал, что это "навсегда" .	Быстро очищает индекс от мертвых страниц, сигнализирует поисковику об изменениях на сайте.	Страница становится недоступна для пользователей, а накопленный вес ссылок теряется (если не настроен 301-редирект) .	Когда страница удалена навсегда и ей нет замены.
Парольная защита (HTTP-авторизация)	Страница или раздел становятся доступны только после ввода логина и пароля .	Абсолютная гарантия, что контент не будет проиндексирован, так как робот не может его "увидеть" .	Полностью закрывает доступ и пользователям. Требует технической настройки на сервере .	Для тестовых (staging) сайтов, страниц с конфиденциальной информацией, закрытых разделов для клиентов.
Атрибут `data-nosnippet`	Запрещает поисковикам показывать конкретный фрагмент текста в сниппете (описании под ссылкой в выдаче) .	Точечное воздействие на часть страницы, не влияет на индексацию всей страницы. Поддерживается Google и Яндекс .	Не запрещает индексацию самого текста. Работает только для сниппета.	Чтобы скрыть от пользователей в поиске служебную информацию, динамические элементы или маловажный текст, не убирая их со страницы .
Атрибут `rel="nofollow"` для ссылок	Указывает поисковым роботам не передавать вес по конкретной ссылке .	Полезен для управления ссылочным весом внутри сайта, борьбы с "распылением" авторитета.	Не запрещает индексацию целевой страницы. Только уменьшает вероятность того, что по ней перейдет робот .	Для ссылок на страницы с пользовательским контентом, на страницы с ограниченным доступом, в комментариях.

Как выбрать подходящий метод

Выбор метода зависит от вашей конкретной задачи. Вот простая шпаргалка:

Если страница больше не нужна и ее контент устарел: Лучше всего удалить страницу и, если у нее есть внешние ссылки, настроить 301-редирект на наиболее релевантную существующую страницу. Если замены нет, пусть отдает статус 404 или 410 .
Если страница нужна пользователям, но должна исчезнуть из поиска (например, "спасибо за заказ"): Используйте мета-тег noindex . Важно: убедитесь, что страница при этом не заблокирована в robots.txt .
Если у вас множество страниц-дублей (например, товар в нескольких категориях): Применяйте атрибут rel="canonical", указывая на главную страницу товара .
Если нужно закрыть от индексации целый раздел (например, /admin/ или /search/): Используйте robots.txt с директивой Disallow, чтобы сэкономить бюджет краулинга . Помните, что это не уберет их из индекса, если они там уже есть.
Если нужно скрыть кусок текста внутри проиндексированной страницы из сниппета: Добавьте атрибут data-nosnippet к нужному HTML-элементу .

Важное предупреждение: Чего делать НЕЛЬЗЯ

Самая частая и опасная ошибка новичков — заблокировать страницу в robots.txt и одновременно попытаться закрыть её мета-тегом noindex. Робот, следуя правилам robots.txt, даже не зайдет на страницу и не увидит ваш noindex . В итоге страница, которая должна исчезнуть, может висеть в индексе с пустым сниппетом.

Также никогда не блокируйте в robots.txt CSS и JavaScript-файлы, если не уверены в своих действиях. Это мешает поисковым роботам корректно видеть и оценивать страницы сайта, что может серьезно навредить ранжированию .

Как проверить результат

После внедрения любого метода важно убедиться, что он сработал.

Для проверки robots.txt используйте инструменты для тестирования в Google Search Console и Яндекс.Вебмастере .
Проверить наличие мета-тега noindex или canonical на странице можно с помощью браузерных расширений для SEO или просто посмотрев код страницы.
Убедиться, что страница исчезла из индекса, можно с помощью оператора site: в поиске Google или Яндекса, а также через отчеты об исключениях в панелях для вебмастеров.

Методы закрытия страницы сайта от индексации - сравнение

Сравнение основных методов запрета индексации

Как выбрать подходящий метод

Важное предупреждение: Чего делать НЕЛЬЗЯ

Как проверить результат