Влияет ли защита от ботов на SEO и живых посетителей

Защита от ботов и SEO расходятся уже на первом вопросе: кто вообще имеет право ходить по сайту. RFC 9309 описывает robots.txt как протокол, которым владелец сервиса просит автоматических клиентов, как обходить URI. Краулер в документе — автоматический клиент. Пример — обход ссылок поиском для индексации. Правила протокола не являются разрешением доступа. Запрет в файле не заменяет решение, пускать ли запрос, а отсутствие запрета не выдаёт права зайти.

Дальше — как Google и Яндекс описывают своих роботов, какие пороги опыта страницы задаёт Google и что происходит с визитом, если проверка Binetro не ответила.

Файл просит, доступ решает сервер

robots.txt — просьба к автоматическому клиенту. Что сделает конкретный робот, если файл запрещает обход, RFC не обещает. Поведение Googlebot и роботов Яндекса описано в их собственных справках, и оно не сводится к одной строке Disallow.

Строку HTTP User-Agent можно подделать. Совпадение текста заголовка с именем робота не доказывает, что пришёл этот робот. Документация Google прямо отделяет текст заголовка от сети, из которой идёт обход.

Обычные краулеры Google и токен Google-Extended

Документация инфраструктуры обхода Google пишет, что обычные краулеры при автоматическом обходе соблюдают robots.txt и в общем случае идут из диапазонов в объекте common-crawlers.json. Обратное имя хоста совпадает с маской crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo.googlebot.com. Список краулеров на странице не исчерпывающий. Маски имён — шаблон проверки, не перечень адресов для блокировки.

Токен Googlebot в robots.txt затрагивает Поиск, включая Discover и все поисковые функции, а также Картинки, режим Видео и Новости. У Google-Extended отдельной строки HTTP User-Agent нет: обход идёт существующими агентами Google. Токен в robots.txt решает, можно ли уже скачанное использовать для обучения будущих поколений моделей Gemini и для grounding. На включение сайта в Поиск и на сигнал ранжирования Google-Extended не влияет.

Закрыть Google-Extended — не то же самое, что закрыть обход для Поиска. И наоборот: строка Googlebot относится к поисковым функциям, а не к вопросу, пойдёт ли уже скачанное в обучение моделей.

Роботы Яндекса и robots.txt

Справка Вебмастера пишет, что роботы Яндекса используют автономные сети AS13238, AS208722 и AS212066. Адреса часто меняются, поэтому список IP не публикуют. Проверку по обратному DNS справка предпочитает списку адресов. Наличие ASN Яндекса не означает, что любой адрес этой системы — поисковый робот.

Часть роботов качает документы не для индексации и может не слушаться User-agent: *. YaDirectFetcher файл robots.txt не использует. Роботы Метрики в таблице справки помечены как не учитывающие общие правила robots.txt. Вариант Метрики 4.0 качает и кэширует CSS, чтобы воспроизвести страницу в Вебвизоре. Записи YandexAdditionalBot и YandexAdditional учитываются в robots.txt, чтобы ограничить показ контента в быстрых ответах с YandexGPT и в ответах Поиска с Алисой. Запросов для индексирования они не делают.

Один файл robots.txt поэтому не описывает «всех роботов Яндекса». Индексация, загрузчик Директа, роботы Метрики и записи для ответов с Алисой читают его по-разному. Запрет User-agent: * не обещает, что YaDirectFetcher или робот Метрики остановятся.

Пороги опыта страницы — не замер скрипта защиты

Документация Web Vitals, обновлённая 31 октября 2024 года, задаёт три стабильные метрики опыта страницы.

Порог для большинства пользователей — 75-й перцентиль загрузок, отдельно для мобильных и для компьютеров. Страница проходит, если на этом перцентиле выдержаны все три. Метрики задуманы как полевые. Лаборатория их не заменяет: на оценку влияют устройство, сеть, прочие процессы и то, как человек трогает страницу. Lighthouse в лаборатории INP не измеряет, потому что ввода пользователя нет. Вместо него там смотрят Total Blocking Time.

Пороги — рекомендация Google для опыта страницы на дату обновления страницы. Документ не измеряет скрипт защиты и не связывает эти числа с SEO-позицией. Бюджет времени скрипта Binetro документация продукта не задаёт. Подставлять 2,5 секунды, 200 миллисекунд или 0,1 как «лимит защиты» нельзя: эти числа про опыт страницы, не про длительность проверки.

Что делает проверка с роботом и с живым визитом при сбое

Известный поисковый робот может быть пропущен. Решение по визиту не ждёт окончания этой проверки. Сбой проверки не считается доказательством подделки робота. Как именно робот опознаётся, здесь не разбирается. Из факта следует другое: обрыв проверки не превращается в вердикт «это поддельный робот», и решение по визиту не стоит в очереди, пока эта проверка не закончится.

Если скрипт не получил ответ — ошибка, таймаут или ответ 5xx — визит пропускается. Такого режима у самой проверки нет: пропуск при сбое делает скрипт на сайте. Если ответ не удалось собрать, посетитель тоже пропускается. Живой человек при молчании проверки не остаётся без страницы. Тот же пропуск получит и клиент, которого проверка не успела разобрать.

SEO-файл и проверка визита отвечают на разные вопросы. robots.txt просит автоматического клиента обходить URI определённым образом и доступом не является. Проверка визита решает по заходу, а при своём сбое не подменяет молчание отказом и не объявляет сбой доказательством подделки робота.