Как устроены современные боты: от скриптов до ИИ-агентов

Современный бот — не один механизм. Скликивание относится к измерению рекламы. Рядом живут программа с целью из определения Метрики, браузер без окна, краулер поиска и запрос, который человек сам отправил в чат. Ниже — как эти описания устроены и где одно не доказывает другое.

Путать их дорого. Блокировка поискового робота по строке клиента режет индексацию, а пропуск сессии без окна оставляет клик, который кабинет может списать как обычный. Кликфрод и скликивание этим разбором не исчерпываются: здесь порядок, как читать открытые определения, прежде чем решать, что делать с визитом.

Программа с целью и трудный трафик

Яндекс Метрика называет роботом программу, у которой есть цель. В определении названы индексация страниц и проверка, что сайт отвечает. Одни роботы представляются, другие маскируются. Метрика определяет их по поведению и техническим сигналам. Это не автоматический ярлык «клик ради расхода».

Кто и зачем скликивает рекламу в стандарте MRC для трудных случаев описан отдельно. SIVT — ситуации, которые труднее заметить и для которых нужны продвинутый анализ, сверка нескольких признаков или заметное участие человека. В примерах — автоматизация с выделенного устройства и с заражённого или захваченного устройства, мотивированная человеческая активность, навязанные клики и случайные клики из-за подмены интерфейса, поддельные события измерения, маскирующиеся боты, недействительный прокси-трафик. Сноска приводит клик-ферму как случай, где нероботная активность организована и направлена через многих пользователей или машины.

Слово IVT покрывает и класс, который со временем можно опознать стандартными списками (GIVT), и SIVT. Часть SIVT может перейти в GIVT, если такие списки появятся. Это классификация для измерения рекламы, не чертёж фермы и не инструкция. Раскрытые программы вознаграждения без цели подменить измерение стандарт предлагает не смешивать с этой категорией. Недействительные клики в этой рамке включают и маскирующихся ботов, и живую, но организованную активность. Возвращает ли Яндекс деньги за скликивание, стандарт MRC не решает.

Строка клиента и отпечаток

Заголовок HTTP User-Agent — строка, по которой сервер узнаёт приложение, операционную систему, поставщика и версию клиента. MDN пишет, что исторически строка слишком хорошо выделяла конкретный браузер, поэтому браузеры отдают урезанный набор: версия платформы и модель устройства фиксируются, а младшие номера версии Chrome показываются нулями. Подробности сервер может запросить отдельно, через client hints. Конкретные примеры строк со страницы MDN — иллюстрации формата, а не признак бота, поэтому фильтр по «похоже на Chrome» из такой строки не строится.

Заметка W3C Privacy Working Group от 25 сентября 2025 года определяет отпечаток браузера как способность сайта узнать или узнать снова пользователя, программу или устройство по настройкам и другим наблюдаемым чертам. Им можно связать визиты внутри сессии и между сессиями, в том числе между разными сайтами, когда политика cookie чужой origin не отдаёт. В отличие от cookie, сбор часто идёт без явного признака, а типичный отпечаток нельзя очистить или сбросить. Очистка cookie и VPN дальнейшую связку по отпечатку не прекращают.

Заметка считает полное устранение отпечатка против заинтересованной стороны одними широко распространёнными техническими мерами неправдоподобным: смягчения — не решение. Поверхность тянется на все возможности программы и на другие слои, например на различия TCP-соединений. Это руководство авторам спецификаций, не детектор и не определение антидетект-браузера. Цифры «насколько уникален браузер» заметка не приводит, и в решение по визиту их подставлять не из чего.

Браузер без окна

Документация Chrome описывает Headless как запуск браузера без присмотра и без видимого интерфейса. С Chrome 112 режим устроен так: окна платформы создаются, но не показываются, остальные функции, уже есть и будущие, доступны. Раньше Headless был отдельной реализацией браузера внутри того же файла и не делил код обычного Chrome. С Chrome 132.0.6793.0 старый режим остался только отдельным файлом chrome-headless-shell. В примере Puppeteer на этой странице headless: true включает Headless по умолчанию, headless: false — обычное окно.

Режим описан для автоматизации и тестов. Сам по себе запуск без окна документация кликфродом не объявляет. Флаги маскировки в открытое описание режима не входят, и по одному «нет окна» визит в SIVT не записывают.

Краулеры поиска и заход из чата

Документация инфраструктуры обхода Google пишет, что обычные краулеры при автоматическом обходе соблюдают robots.txt и в общем случае идут из диапазонов в объекте common-crawlers.json. Обратное имя хоста совпадает с маской crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo.googlebot.com. Строку HTTP User-Agent можно подделать, поэтому токен в строке без проверки имени хоста робота не доказывает.

Токен Googlebot в robots.txt затрагивает Поиск, включая Discover и все поисковые функции, а также Картинки, режим Видео и Новости. У Google-Extended отдельной строки HTTP User-Agent нет: обход идёт существующими агентами Google, а токен в robots.txt решает, можно ли уже скачанное использовать для обучения будущих поколений моделей Gemini и для grounding. На включение сайта в Поиск и на сигнал ранжирования Google-Extended не влияет. Список краулеров на странице документации не исчерпывающий. Маски имён — шаблон проверки, не перечень адресов для блокировки.

Документация OpenAI задаёт отдельные токены robots.txt. GPTBot качает содержимое, которое может пойти в обучение генеративных моделей; запрет означает, что содержимое не следует использовать для этого обучения. OAI-SearchBot нужен поиску ChatGPT; сайт, закрытый для него, не показывают в поисковых ответах, хотя ссылка-навигация возможна. Токены независимы: можно пустить поиск и запретить обучение. ChatGPT-User ходит, когда пользователь задал вопрос или сработало действие GPT; автоматическим обходом он не является, из-за инициативы пользователя правила robots.txt могут не применяться, и включение в поиск им не решают. Для автоматических роботов опубликованы JSON со списками адресов. Номера версий в примерах строк агента могут меняться, и копировать их в фильтр как постоянный образец нельзя. Это описание одного оператора. Доли чужого ИИ-трафика документация не приводит.

Что строка TLS не доказывает

Спецификация FoxIO JA4 строит отпечаток клиента по пакету TLS ClientHello. В отпечаток входят вид транспорта (TLS поверх TCP, QUIC или DTLS), версия TLS, признак наличия SNI, число шифров, число расширений, признак ALPN и хеши списков шифров и расширений. Значения GREASE спецификация велит не учитывать. Соседние методы в том же комплекте считаются отдельно: JA4S — ответ сервера, JA4H — клиент HTTP. Спецификация описывает способ свернуть приветствие в строку. Она не утверждает, что конкретная строка доказывает автоматический визит. Порядок байтов, длины хешей и примеры строк в решение не копируются. Текущая проверка Binetro этот сигнал не использует: это граница продукта, не свойство JA4.

Как не склеить разные случаи

Пройдите визит по этому порядку. Каждый шаг отвечает на один вопрос и не подменяет следующий.

1. Есть ли у программы заявленная цель вроде индексации или проверки, что сайт отвечает, и представляется ли она. Так Метрика отделяет робота от маскирующегося трафика, но не ставит диагноз рекламному клику.

2. Похож ли случай на SIVT: автоматизация с устройства, захваченное устройство, мотивированные люди, навязанный или случайный клик, поддельное событие, маскировка, недействительный прокси. Это повод для сверки нескольких признаков, не для одного правила.

3. Что в User-Agent. Строка называет клиента и при этом урезана и подделывается. Совпадение с именем браузера бота не доказывает.

4. Есть ли окно. Headless с Chrome 112 — тот же браузер без показа окна. Для тестов это штатный режим, не вердикт о клике.

5. Чей это обход. Googlebot сверяйте по обратному имени и опубликованным диапазонам. Google-Extended поиск не включает и не выключает. GPTBot и OAI-SearchBot независимы, а ChatGPT-User — заход по просьбе человека.

6. Не принимайте отпечаток JA4 за доказательство автоматизации. Строка свёрнутого ClientHello автоматический визит не доказывает, и Binetro её сейчас не использует.

Один визит, шесть вопросов

Возьмите один подозрительный клик из кабинета и пройдите его теми же шестью вопросами, не смешивая ответы.

Допустим, в отчёте клик с обычным браузером, без целевого действия, с адреса, который вы раньше не видели. Первый вопрос — представлялась ли программа и была ли у неё цель вроде индексации. Если строка клиента — урезанный Chrome, это ещё не представление робота Метрики: младшие номера версии там и так нули, а строку можно подделать. Второй вопрос — есть ли несколько признаков SIVT сразу, или только «не было заявки». Одного отсутствия заявки мало: стандарт просит сверку, и живая организованная активность, включая клик-ферму из сноски, в тот же класс входит отдельно от программы.

Третий вопрос — окно. Headless с Chrome 112 создаёт окна и не показывает их, старый режим с версии 132.0.6793.0 живёт отдельным файлом. Для тестов это штатно. Четвёртый — чей обход, если строка похожа на поискового робота. Google сверяют по обратному имени и диапазонам, не по токену в строке. Google-Extended поиск не включает и не выключает. ChatGPT-User ходит, потому что человек спросил, и автоматическим обходом не является. Пятый — не подменяйте всё это строкой JA4. Она сворачивает ClientHello и автоматический визит не доказывает. Binetro её сейчас не использует.

Шестой вопрос денежный и короткий. Даже если визит похож на SIVT, стандарт MRC не решает, вернёт ли площадка деньги. Классификация измеряет трафик. Списание остаётся у рекламной системы.

Имена при этом не складываются в одну лестницу «скрипт, потом бот, потом ИИ». Программа с целью в Метрике может честно индексировать. Headless может гонять тест. Краулер Google и токены OpenAI ходят за содержимым, а ChatGPT-User — по просьбе человека. SIVT нужен там, где обход уже похож на обычный и одного имени в строке мало. JA4 к этой лестнице не приставляется: строка приветствия автоматический визит не доказывает.