Как боты влияют на SEO и поведенческие факторы сайта

Боты влияют на SEO там, где они обходят и индексируют страницы, тратят бюджет обхода на дубли или публикуют чужое содержимое у себя. Поведенческие цифры в аналитике от этого автоматически не становятся фактором ранжирования: ни справка Яндекса, ни документация Google в этих фактах не измеряют отказы как вес в выдаче. Закрытие адреса в robots.txt страницу из поиска не вынимает.

Скликивание рекламы — отдельный расход. Кликфрод бьёт по объявлениям, а не по строке индекса. Кто нажимает объявления, разобрано в статье «Кто и зачем скликивает рекламу». Недействительные клики и возврат за скликивание считаются в кабинете, а не в позициях.

Обход и индекс — разные шаги

Документация Google разделяет обход и индексацию. Запрет Googlebot в robots.txt не мешает адресу появиться в результатах поиска. Чтобы адрес не индексировался, нужен noindex. Чтобы страницу не открыл ни робот, ни человек, нужна другая мера, например пароль. Блокировка Googlebot задевает Поиск, Discover, Картинки, Видео и Новости.

У Яндекса файл ограничивает обход и может снизить нагрузку. Страницы, ограниченные в файле, могут участвовать в поиске. Чтобы убрать их, нужен noindex в HTML или HTTP-заголовке, и такие страницы как раз не надо закрывать в robots.txt: иначе робот не увидит указание. Если файл не выполняет требования (не больше 500 КБ, имя robots.txt в корне, ответ 200 либо редирект на другой robots.txt с ответом 200), сайт считается открытым для индексирования. Кириллица в файле и в HTTP-заголовках сервера запрещена: домен пишут в Punycode, путь — в кодировке сайта. Роботы других систем могут читать директивы иначе.

Часть роботов Яндекса качает документы не для индексации и может не слушаться User-agent: *. Отдельные ограничения робот может обойти, если у Яндекса есть договор с владельцем сайта. Чужое имя в заголовке это не заменяет. Проверка: IP из лога, обратный DNS, имя должно кончаться на yandex.ru, yandex.net или yandex.com, затем прямой DNS. Если прямой адрес не совпал с исходным, имя поддельное. Справка предпочитает этот способ списку IP, потому что внутренние сети Яндекса меняются.

Бюджет обхода и всплеск

Документация Google называет бюджетом обхода набор адресов, которые Google может и хочет обойти. Он складывается из предела ёмкости и спроса. Предел ёмкости ограничивает суммарное время, которое сервер держит соединения открытыми для Google. У каждого сайта старт одинаково осторожный. Если ответы стабильны или быстрее, предел растёт. Если сайт замедляется, отвечает 5xx или сигналит ограничением частоты, включая HTTP 429, предел падает и Google обходит меньше. Дубли и лишние адреса тратят обход впустую. Один краулер с высоким спросом делит общий предел ёмкости с остальными. Если обход упирается в мощность сервера, документ среди способов поднять бюджет называет добавить ресурсы сервера, если это оправдано для бизнеса. Ориентиры вроде миллиона страниц документ сам называет грубой прикидкой, не порогом.

Робот Яндекса сам планирует визиты. Всплеск бывает, когда он узнал о новом разделе или сменились адреса. Если загруженных страниц много больше, чем страниц в поиске, справка считает вероятными однотипные страницы и дубли. Disallow снимает обращения к указанным страницам в течение суток после правки файла. Ответ HTTP 429 — знак, что серверу тяжело: робот уменьшит число обращений. Поддомены Яндекс считает отдельными сайтами, поэтому обход каждого может умножить нагрузку. Это не счёт чужого парсера и не тариф хостинга.

Чужой текст у себя — другая политика

В политиках спама Google Search scraping — забор содержимого с других сайтов, часто автоматический, и публикация его у себя, чтобы влиять на ранжирование. Примеры нарушения: перепечатка без своего содержания и без указания источника, лёгкая переработка вроде подмены синонимов, воспроизведение чужих лент без пользы для читателя, сайты-сборники чужого видео и картинок без существенной добавленной пользы. Сайт, который нарушает политики спама, может ранжироваться ниже или не появляться в результатах.

«Scaled content abuse» называет генерацию многих страниц из чужих лент и выдачи ради позиций, а не ради читателя. Политика описывает сайт, который выложил чужое. Она не говорит, что у магазина, с которого сняли цены, из-за этого падают позиции. «Machine-generated traffic» на той же странице — автоматические запросы к самому Google, не боты на чужом магазине.

Проверка не штрафует робота из-за своего сбоя

Известный поисковый робот может быть пропущен. Решение по визиту не ждёт окончания проверки. Сбой проверки не считается доказательством подделки робота. Как именно робот опознаётся, в этот факт не входит. Для SEO это граница: недошедший ответ проверки не превращает обход поисковика в подделку и не является измерением поведенческого фактора.