Как найти ботов в Яндекс Метрике

Найти ботов в Метрике — значит открыть отчёт «Роботы» на тот период, где уже виден всплеск, и прочитать имена в строках. Это не деление процента роботности и не поиск списанных кликов.

Доля визитов, которые Метрика сочла роботами, разобрана в статье «Роботность в Метрике». Здесь другая единица и другой порядок экранов.

Сначала период, потом имена

Справка отчёта «Роботы» задаёт порядок для случая, когда сайт стал медленно открываться или часто отвечать кодом 500. Сначала отчёт «Нагрузка на сайт»: есть ли всплеск. Затем отчёт «Роботы» на дату или период этого всплеска. Там видно процент обращений роботов к сайту и их имена. Путь к этому отчёту справка пишет прямо: Отчёты → Мониторинг → Роботы.

Без периода всплеска таблица за месяц смешивает обычный обход и тот час, из-за которого сайт лёг. Имена тогда есть, а ответа «кто дал всплеск» нет.

Справка даёт образец таблицы на демосчётчике Метрики. Его стоит открыть до своего кабинета: так видно, чем строка с именем отличается от поведенческой. Числа демосчётчика в свой расход не переносят.

Строка считает отправки, не визиты

В таблице отчёта стоит метрика «Отправка данных». Справка определяет её как число просмотров и служебных событий, которые счётчик отправил о действиях роботов: вызов hit, неотказ и другие. Отправки Вебвизора в эту таблицу не входят. Строки разложены по правилам фильтрации. Поведенческие правила идут отдельной строкой и не расшифровываются. В остальных строках — имя робота, который назвался в User-agent.

Это не визиты из сводки и не клики из Директа. Допустим, за день всплеска строка поискового робота показала 800 отправок, а поведенческая строка — 200. Тысяча отправок не равна тысяче визитов и не равна тысяче рублей. Числа круглые, чтобы единицу было видно. Процент обращений, который показывает сам отчёт, этими числами не подменяется.

Почему у поведенческой строки нет имени и почему в роботы попадает человек без JavaScript, разобрано в статье «Чем бот отличается от человека». Повторять правило счётчика незачем: в отчёте вы читаете готовую строку, а не восстанавливаете её вручную.

Что делать с именем

Роботы, которые представились, из обычной статистики исключаются сразу. Справка про отображение роботов говорит, что смотреть их нужно как раз в отчёте «Роботы»: так видно, приходят ли поисковые роботы индексировать страницы. Там же есть отсылка к тому, как представляются роботы Яндекса. Совпадение имени с этим списком значит, что программа назвалась, а не что клик остался в расходе. Имя в строке — это цель, которую робот сам объявил, только если имя об этом говорит. Каталог целей, которые справки называют, и отказ выдумывать остальные — в статье «Какие бывают боты».

Пустая поведенческая строка с большим числом отправок не получает имени от того, что число большое. Справка прямо пишет, что эти правила не конкретизируются. Выписать «значит, кликбот» из этой строки нельзя.

Прежде чем читать всплеск как атаку, проверьте поля «Адрес» и «Дополнительный адрес» счётчика. Метрика может отнести к роботам визиты на адреса, которых в этих полях нет. Это настройка, не программа.

Чего в отчёте нет

Списанный клик здесь не подписан. Граница, с которой переход становится расходом, задана в статье «Что такое скликивание». Высокий процент обращений роботов при живых заявках и пустом недействительном трафике бюджет не измеряет.

Опцию «Фильтровать роботов по поведению» ради этого поиска не включают. Она удаляет такие визиты из исходных данных, и отменить это нельзя. Когда опция уместна, а когда она стирает историю, разобрано в статье про роботность. Для чтения отчёта «Роботы» она не нужна: справка отчёта прямо говорит, что активность роботов в нём видна и при включённом фильтре, а дополнительная настройка фильтрации тогда уже недоступна.

Записи Вебвизора этот отчёт не заменяет: его отправки в таблицу не входят. Сессию, в которой видно движение по странице, здесь не открыть.

Проверка визита на сайте этот отчёт тоже не заменяет. Она смотрит поведение, окружение браузера, сеть и параметры рекламного перехода и решает пропустить, дать браузеру короткую задачу или не пускать. Если проверка не ответила, визит пропускают. Имени из отчёта «Роботы» она не печатает. Binetro не вычитает отправки данных из расхода Директа.

Короткий проход, когда сайт уже тормозит:

1. Откройте «Нагрузка на сайт» и отметьте период всплеска.

2. Откройте Отчёты → Мониторинг → Роботы на этот период.

3. Прочитайте имена отдельно от поведенческой строки. Имя не переводите в «скликивание», если оно про индексацию.

4. Сверьте поля адресов счётчика, если в роботы попал ваш собственный домен.

5. Расход Директа смотрите в Директе. Отправки данных туда не переносятся.