Запрет Google-Extended не убирает сайт из Поиска

Запрет Google-Extended в robots.txt не вынимает сайт из Поиска Google и не меняет сигнал ранжирования. По документации обхода Google этот токен решает другое: можно ли уже скачанное использовать для обучения будущих поколений моделей Gemini и для grounding. Отдельной строки HTTP User-Agent у Google-Extended нет, обход идёт существующими агентами Google.

Что файл robots.txt вообще может и чего не может, разобрано в статье «robots.txt и боты». Поисковые роботы как вид трафика, который сайту обычно нужен, — в статье «Хорошие боты».

Что закрывает токен Googlebot

Токен Googlebot в robots.txt затрагивает Поиск, включая Discover и все поисковые функции, а также Картинки, режим Видео и Новости. Это другой токен, не Google-Extended.

Обычные краулеры при автоматическом обходе соблюдают robots.txt и в общем случае идут из диапазонов в объекте common-crawlers.json. Обратное имя хоста совпадает с маской crawl-***-***-***-***.googlebot.com или geo-crawl-***-***-***-***.geo.googlebot.com. Строку HTTP User-Agent можно подделать, поэтому документация сверяет имя хоста, а не одну только строку агента. Маски — шаблон проверки, не перечень адресов для блокировки. Список краулеров на той странице документация не называет исчерпывающим.

Если задача — не пустить сайт в Поиск, токен, который документация связывает с Поиском, это Googlebot. Google-Extended эту задачу не выполняет.

Чем Google-Extended не является

Google-Extended не отдельный робот со своей строкой User-Agent. Запрет токена не описан как выключение сайта в Поиске и не описан как правка сигнала ранжирования. Содержимое, которое уже скачали обычные краулеры, токен относит к обучению будущих моделей Gemini и к grounding. Поиск при этом живёт на токене Googlebot.

Путаница обычно из одной строки файла: оба токена лежат в robots.txt, и кажется, что любой Disallow одинаково «закрывает Google». Документация делит их по последствию. Закрытый Google-Extended оставляет вопрос Поиска на токене Googlebot. Закрытый Googlebot затрагивает Поиск, Discover, Картинки, Видео и Новости.

Как у Яндекса разведены индекс и ответы Алисы

Справка Вебмастера пишет, что роботы Яндекса используют автономные сети AS13238, AS208722 и AS212066. Адреса часто меняются, список IP не публикуют. Проверку по обратному DNS справка предпочитает списку адресов. Наличие такой автономной системы не означает, что любой её адрес — поисковый робот.

Часть роботов качает документы не для индексации и может не слушаться User-agent: *. YaDirectFetcher файл robots.txt не использует. Роботы Метрики в таблице справки помечены как не учитывающие общие правила robots.txt. Вариант Метрики 4.0 качает и кэширует CSS, чтобы воспроизвести страницу в Вебвизоре.

Записи YandexAdditionalBot и YandexAdditional учитываются в robots.txt, чтобы ограничить показ контента в быстрых ответах с YandexGPT и в ответах Поиска с Алисой. Запросов для индексирования они не делают. Запрет этих записей — про ответы с генерацией, не про то, попадёт ли страница в индекс. Это соседняя развилка с Google-Extended: отдельный токен ограничивает использование в ответах модели, а индексирующий обход живёт отдельно.

Как OpenAI делит обучение и поиск

Документация OpenAI задаёт отдельные токены robots.txt. GPTBot качает содержимое, которое может пойти в обучение генеративных моделей. Запрет означает, что содержимое не следует использовать для этого обучения. OAI-SearchBot нужен поиску ChatGPT. Сайт, закрытый для него, не показывают в поисковых ответах, хотя ссылка-навигация возможна. Токены независимы: можно пустить поиск и запретить обучение.

ChatGPT-User ходит, когда пользователь задал вопрос или сработало действие GPT. Автоматическим обходом он не является. Из-за инициативы пользователя правила robots.txt могут не применяться, и включение в поиск им не решают. Для автоматических роботов опубликованы JSON со списками адресов. Номера версий в примерах строк агента могут меняться, и эти строки не стоит копировать в фильтр как постоянный образец.

Это описание одного оператора. Доли трафика и полный список чужих ИИ-краулеров страница не измеряет. Для решения по Google важен её собственный раздел: Google-Extended не трогает Поиск. Параллель с OpenAI только в том, что токен обучения и токен поиска задаются отдельно, а последствия запрета поиска у OpenAI другие: закрытый OAI-SearchBot убирает сайт из поисковых ответов ChatGPT.

Что сделать со строкой в файле

1. Найдите в robots.txt токен Google-Extended и токен Googlebot. Это разные группы.

2. Если строка запрещает только Google-Extended, Поиск по документации Google от этого не выключается.

3. Если выключить нужно именно Поиск, Картинки, Видео, Новости или Discover, смотрите группу Googlebot, не Google-Extended.

4. У Яндекса ограничение ответов с YandexGPT и Алисой — записи YandexAdditionalBot и YandexAdditional. Индексирующих запросов эти записи не делают.

5. Проверку робота Google документация связывает с обратным именем хоста по маске, потому что строку User-Agent можно подделать. Маска не является списком адресов, которые надо запретить.

Запрет обучения не заменяет запрет обхода. И запрет обхода Googlebot не равен токену Google-Extended. Держите в файле ту группу, чьё последствие вам нужно, и не ждите от Google-Extended пропажи страницы из Поиска.