Анализ robots.txt

  1. Как проверить файл
  2. Как узнать, обойдет ли робот определенный URL
  3. Как отслеживать изменения файла
  4. Вопросы и ответы

Инструмент Анализ robots.txt помогает проверить, правильно ли составлен файл robots.txt или написать содержимое файла и после проверки скопировать его в robots.txt.

Также инструмент поможет отследить изменения в файле и скачать определенную версию.

  1. Как проверить файл
  2. Как узнать, обойдет ли робот определенный URL
  3. Как отслеживать изменения файла
  4. Вопросы и ответы

Как проверить файл

Если сайт добавлен в Яндекс Вебмастер и права на его управление подтверждены

Содержимое файла появится на странице Инструменты → Анализ robots.txt после подтверждения прав на управление сайтом.

Если содержимое отображается на странице Анализ robots.txt, нажмите кнопку Проверить.

Если сайт не добавлен в Яндекс Вебмастер
  1. Перейдите на страницу Анализ robots.txt.
  2. В поле Проверяемый сайт укажите адрес вашего сайта. Например, https://example.com.
  3. Нажмите значок . Содержимое robots.txt и результаты анализа отобразятся ниже.

В предназначенных для робота Яндекса (User-agent: Yandex или User-agent:*) разделах инструмент проверяет директивы, руководствуясь правилами использования robots.txt. Остальные разделы проверяются в соответствии со стандартом.

После проверки могут отобразиться:
  • Предупреждения. Они сообщают об отклонении от правил, которое инструмент может исправить самостоятельно. Также предупреждения указывают на потенциальную проблему, связанную с опечаткой или неточностью в написании правил.
  • Ошибки в файле. Это значит, что инструмент не может обработать строку, секцию или весь файл из-за серьезных ошибок в синтаксисе, допущенных при составлении директив.
Подробное описание см. в разделе Справочник по ошибкам анализа robots.txt.

Как узнать, обойдет ли робот определенный URL

Когда ваш файл robots.txt загружен в Яндекс Вебмастер, на странице Анализ robots.txt отображается блок Разрешены ли URL?.

  1. В поле Список URL укажите адрес страницы, которую хотите проверить. Можно указать полный URL или адрес относительно корневого каталога сайта. Например, https://example.com/page/ или /page/.
  2. Нажмите кнопку Проверить.

Если URL разрешен для индексирования роботами Яндекса, напротив адреса появится значок , если запрещен — отобразится адрес, выделенный красным.

Как отслеживать изменения файла

Примечание. Доступна история изменений за шесть месяцев. Максимальное количество сохраненных версий — 100.

Чтобы своевременно узнавать об изменениях файла robots.txt, настройте уведомления.

Яндекс Вебмастер регулярно проверяет обновления файла и сохраняет версии с учетом даты и времени изменения. Чтобы их посмотреть, перейдите на страницу Инструменты → Анализ robots.txt.

Список версий отображается, если одновременно выполнены следующие условия:
  • вы добавили сайт в Яндекс Вебмастер и подтвердили права на управление сайтом;
  • в Яндекс Вебмастере есть информация об изменениях robots.txt.
Вы можете:
Просмотреть текущую и предыдущие версии файла

Выберите из списка Версия robots.txt версию файла. В поле ниже отобразится содержимое robots.txt, а также результаты анализа.

Скачать выбранную версию файла
  1. Выберите из списка Версия robots.txt версию файла.
  2. Нажмите кнопку Скачать. Файл сохранится на вашем устройстве в формате TXT.

Вопросы и ответы

Ошибка «Этот URL не принадлежит вашему домену»

Скорее всего, в списке URL вы указали неглавный адрес вашего сайта, например http://example.com вместо http://www.example.com. Формально это два различных URL. Проверяемые URL должны принадлежать сайту, для которого производится анализ robots.txt.

Укажите инструмент, в работе которого вы нашли ошибку, опишите ситуацию как можно подробнее, а при необходимости приложите скриншот, иллюстрирующий ситуацию.