Трафик из дата-центров: что такое ASN и почему это сигнал

Автономная система в RFC 1930 (март 1996) — связная группа из одного или нескольких IP-префиксов. Ею управляют один или несколько операторов, и у неё одна ясно определённая политика маршрутизации. У системы глобально уникальный номер, ASN. Номер участвует в обмене внешней маршрутной информацией и называет саму систему. Как читать адрес и провайдера в отчёте, разобрано в статье «Как проверить трафик по IP и провайдерам». ASN в этом RFC — единица маршрутной политики, не ярлык дата-центра и не идентификатор человека.

Что номер не обещает

Рекомендуемый внешний протокол документа — BGP. Классическая формула из BGP-4, которую RFC пересказывает: набор маршрутизаторов под одним техническим администрированием, который снаружи выглядит как один согласованный план достижимости. RFC не делит системы на «жилые» и «хостинговые». Увидеть ASN и поставить штамп «дата-центр» или «квартира» из этого текста нельзя.

Почему тогда трафик дата-центров вообще всплывает рядом с недействительным. Дополнение MRC (финальная редакция, июнь 2020) называет GIVT трафик, который опознаётся рутинно: списками или стандартными проверками параметров. В примерах — известный трафик дата-центров, который стабильно даёт недействительную активность, но не артефакты маршрута живых пользователей. Рядом в тех же примерах — боты, пауки и другие краулеры, проверки по параметрам транзакции, небраузерный User-Agent, предзагрузка без открытия объявления живым человеком, размеры размещения 0×0 и 1×1, сессии, которые по данным клиента не могут отрисовать изображение, в том числе headless-браузер.

Список дан для аудита аккредитации MRC. Его не смешивают с таксономией TAG. Доля GIVT в Директе к этому перечню не приравнена. «Известный» в примере — тот, что стабильно даёт недействительную активность и при этом не похож на маршрут живых пользователей. Не каждый адрес хостинга этим предложением объявлен недействительным.

Общий адрес — не ASN

RFC 6598 (апрель 2012) описывает другую склейку адресов. Провайдерам выделено пространство 100.64.0.0/10 для Carrier-Grade NAT, отдельно от частных адресов RFC 1918, потому что оно для сети провайдера. За границу провайдера такие пакеты не пересылают. Геолокация определяет место сервера CGN, а не конечного устройства. Несколько абонентов делят один внешний публичный IPv4. В примере с консолями два абонента с одним внешним адресом не соединяются друг с другом. Числа абонентов на адрес нет. Это не ярлык дата-центра и не «резидентный прокси»: второго слова в RFC нет.

Путать CGN и ASN легко, потому что оба про «много кто за одним именем». ASN — номер политики маршрутов целой системы. Внешний IPv4 при CGN — один адрес трансляции на нескольких абонентов. Дата-центр в примерах MRC — известный источник недействительной активности, который узнают списком, а не номером из RFC 1930.

Сети, которые Яндекс называет своими

Справка Вебмастера пишет, что роботы Яндекса используют автономные сети AS13238, AS208722 и AS212066. Адреса часто меняются, поэтому список IP не публикуют. Проверку по обратному DNS справка предпочитает списку адресов. Наличие ASN Яндекса не означает, что любой адрес этой системы — поисковый робот.

Часть роботов качает документы не для индексации и может не слушаться User-agent: *. YaDirectFetcher файл robots.txt не использует. Роботы Метрики в таблице справки помечены как не учитывающие общие правила robots.txt. Вариант Метрики 4.0 качает и кэширует CSS, чтобы воспроизвести страницу в Вебвизоре. Записи YandexAdditionalBot и YandexAdditional учитываются в robots.txt, чтобы ограничить показ контента в быстрых ответах с YandexGPT и в ответах Поиска с Алисой. Запросов для индексирования они не делают.