Чем бот отличается от человека на сайте

Робот на сайте — это программа, которая зашла с какой-то целью. Человек — это посетитель, который сам открыл страницу. Одного признака, который всегда отделяет одно от другого, в отчётах нет: Метрика прямо пишет, что часть роботов маскируется под человека, и сама не публикует поведенческие правила.

Для рекламы это важнее определения. Поисковый робот может обойти сайт и не стоить вам ни рубля. Пустой клик, который остался в расходе, может сделать и программа, и живой человек. Где проходит оплата такого клика, разобрано в статье «Что такое скликивание». Здесь — почему ярлык «робот» в Метрике нельзя читать как «этот визит украл бюджет».

В Метрике робот — программа, и их два сорта

Справка Метрики определяет роботов как программы, которые обходят сайт с целью: проиндексировать страницы или проверить, что сайт отвечает. Одни представляются сами, по строке User-agent. Другие маскируются, чтобы аналитика их не выделила. Метрика ищет и тех и других по поведению и по техническим сигналам.

Роботы, которые назвались, из обычной статистики исключаются сразу. Их имена видны в отчёте «Роботы»: Отчёты → Мониторинг → Роботы. Поведенческие правила в этом отчёте идут отдельной строкой и не расшифровываются. Имени у такой строки нет. Новость Яндекс Рекламы от 23 сентября 2021 года добавляет, зачем маскировка вообще нужна статистике: такие программы могут накручивать визиты и изображать целевые действия, вплоть до заявки, корзины и репоста. Там же сказано, что антифрод Директа — другой инструмент, и обновление роботов в Метрике на него не влияет.

Человек без JavaScript тоже попадает в роботы

В отчёте «Роботы» есть правило «Отфильтрованы по отсутствию JS и Referer». Справка объясняет механику. Счётчик состоит из JavaScript и невидимой картинки в noscript. Если JavaScript не выполнился, просмотр уходит через картинку, а адрес страницы — в заголовке Referer. Нет ни скрипта, ни этого заголовка — Метрика считает просмотр роботом.

Так в роботы попадает и живой человек. Браузер с выключенным JavaScript и без Referer даёт ту же строку. Обратное тоже верно: программа, которая выполняет скрипт и присылает обычный заголовок, в это правило не входит. Ярлык на строке отчёта — результат правила, а не паспорт посетителя.

К роботам Метрика может отнести и визиты на адреса, которых нет в настройках счётчика, в полях «Адрес» и «Дополнительный адрес». Это настройка, а не фрод. Прежде чем читать долю роботов как атаку, проверьте, что в счётчике перечислены домены, с которых вы реально принимаете людей.

Поведенческие правила вам не отдадут

Раз правила поведения в отчёте не конкретизируются, выписать их в таблицу и сверять визиты руками нельзя. Метрика так устроена намеренно: маскирующаяся программа как раз подстраивается под опубликованный список. Ручная проверка «не двигал мышью, значит бот» этот список подменяет вашей догадкой.

Живой человек, которому заплатили за клик, мышью как раз двигает. Директ описывает таких пользователей отдельно от программ: задание за деньги, рука и браузер настоящие. Этот случай разобран в статье «Кто и зачем скликивает рекламу». Искать только «непохоже на человека» значит пропустить как раз ту сторону, которая человеком и является.

Директ ищет других роботов

В справке Метрики есть короткая пометка: в Метрике и Директе разные системы определения роботов. Новость 2021 года говорит то же про антифрод Директа: это отдельный инструмент, и смена робота в Метрике его работу не меняет.

Практически это выглядит так. Визит может быть роботом в Метрике и не стоить ничего в Директе: поисковый робот в расход по объявлению не попадает. Визит может пройти антифрод Директа, остаться в расходе и при этом выглядеть странно на сайте. Доля таких визитов — метрика «роботность», и читать её как счёт за рекламу нельзя. Как устроена сама доля, разобрано в статье «Роботность в Метрике».

Следы именно оплаченного пустого клика, а не любого робота на сайте, собраны в признаках скликивания.

На странице несколько наблюдений складываются вместе: что человек делал, в каком окружении браузера сидел, из какой сети пришёл, как часто приходят похожие запросы и сходится ли рекламный переход. Одно наблюдение решением не становится. Итог — пропустить, попросить браузер решить короткую вычислительную задачу или не пускать. Если проверка не ответила, посетителя пропускают: сбой не должен закрывать живого человека. Часть автоматических визитов проверка всё равно пропускает. Ярлыка «бот или человек» с силой приговора она не ставит.