Роботы

В этом отчете вы можете увидеть данные о действиях всех типов роботов, которые посещали сайт, с разбивкой по правилам фильтрации. Список роботов Яндекса см. в разделе Помощи Яндекс.Вебмастера.

Посмотреть отчет: Отчеты → Стандартные отчеты → Мониторинг → Роботы.

Пример отчета можно увидеть на демо-счетчике Яндекс.Метрики.

Какие задачи может решать отчет

Проверить активность роботов при повышенной нагрузке на сайт
Если вы заметили, что сайт начал медленно загружаться или часто отвечать HTTP-кодом 500, вы можете проверить, кто совершает большинство запросов — посетители или роботы.
  1. Откройте отчет Нагрузка на сайт. Он покажет, есть ли всплеск активности.

    Пример


  2. Перейдите в отчет Роботы и выберите дату или период, в который бал замечен всплеск. Отчет покажет процент обращений роботов к сайту и их имена.

    Пример


Структура и настройки отчета

В таблице указано количество отправок данных счетчиком Метрики о действиях роботов на сайте (кроме отправок данных Вебвизором). Информация отображается в строках с разбивкой по правилам фильтрации.

Статистические правила идут отдельной строкой и не конкретизируются. Для строгих правил указывается то правило, которое сработало. Например, указывается имя робота, который сообщил о себе в директиве User Agent.

Если в строке указано правило «Отфильтрованы по отсутствию JS и Referer», это означает, что у посетителя сайта не поддерживался JavaScript, а при загрузке изображения не был передан HTTP-заголовок Referer (адрес просмотренной страницы).

Подробно

Код счетчика состоит из двух частей — JavaScript-код и невидимое изображение, указанное в элементе noscript. Если во время просмотра сайта у посетителя отключен или не поддерживается JavaScript, то информация о просмотренной странице передается в HTTP-заголовке Referer через загрузку изображения. При этом, если HTTP-заголовок не передан, Метрика считает, что такой просмотр совершил робот.

Чтобы не фильтровать такие просмотры, на странице Настройка (вкладка Фильтры) включите опцию Учитывать визиты всех роботов.

Совет. Фильтрацию роботов по строгим правилам и поведению необходимо включить, если вы обнаружили всплески неестественного трафика в отчете Роботы и у вас есть основания полагать, что подобная ситуация может повториться.

Для некоторых сайтов некий постоянный объем роботного трафика не является критичным. В этом случае выбор условия для фильтрации остается на усмотрение владельца счетчика.