Как запретить индексирование сайта или страниц

Запрет индексирования сайта, раздела или страницы

Если какие-то страницы или разделы сайта не должны индексироваться (например, со служебной или конфиденциальной информацией), ограничьте доступ к ним следующими способами:

• В файле robots.txt укажите директиву Disallow.
• В HTML-коде страниц сайта укажите метатег robots с директивой noindex или none. Подробнее см. в разделе Метатег robots и HTTP-заголовок X-Robots-Tag.
• Используйте авторизацию на сайте. Рекомендуем этот способ, чтобы скрыть от индексирования главную страницу сайта. Если главная страница запрещена в файле robots.txt или с помощью метатега noindex, но на нее ведут ссылки, страница может попасть в результаты поиска.

Запрет индексирования контента страницы

Скрыть от индексирования часть текста страницы

• В HTML-код страницы добавьте элемент noindex. Например:

  <noindex>текст, индексирование которого нужно запретить</noindex>

  Элемент не чувствителен к вложенности — может находиться в любом месте HTML-кода страницы. Если на странице отсутствует закрывающий тег, скрытым считается весь контент страницы. Не создавайте множественную вложенность тегов noindex — разметка будет учитываться только до первого закрывающего тега.

  При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

  <!--noindex-->текст, индексирование которого нужно запретить<!--/noindex-->

• В HTML-код страницы добавьте элемент noscript. Например:

  <noscript>текст, индексирование которого нужно запретить</noscript>

  Элемент noscript, как и noindex, запрещает индексирование, но при этом скрывает содержимое сайта от пользователя, если его браузер поддерживает технологию JavaScript.

  Примечание. JavaScript поддерживают все популярные браузеры, если эта функция не отключена пользователем специально.

  Посмотреть отчет о наличии JavaScript можно в Яндекс.Метрике .

Скрыть от индексирования ссылку на странице

Чтобы скрыть от индексирования все ссылки на странице, укажите в HTML-коде страницы метатег robots с директивой nofollow. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

Также можно добавить в ссылку атрибут rel="nofollow". Например:

<a href="url" rel="nofollow">текст ссылки</a>  

Атрибут rel="nofollow" воспринимается роботом как рекомендация не принимать ссылку во внимание.

При использовании любого из перечисленных указаний ссылка может быть обработана роботом и отобразиться в Вебмастере как внутренняя или внешняя. Само отображение или отсутствие ссылки в Вебмастере не указывает на то, что поисковые алгоритмы как-либо учитывают ее.