IP-репутация и списки блокировок

IP-репутация в бытовом разговоре — ярлык «этот адрес уже плохой». Документы, на которых держится такой разговор, ярлык не выдают. Они описывают четыре разные вещи: автономную систему как единицу маршрутной политики, общий внешний IPv4 у оператора, почтовый список адресов, который раздают через DNS, и сети, которыми роботы Яндекса называют себя сами. Ни одна из четырёх не оценивает качество рекламного клика и не говорит, скликивание это или обычный заход.

Автономная система — политика маршрута, не человек

RFC 1930 (март 1996) называет автономной системой связную группу из одного или нескольких IP-префиксов. Ею управляют один или несколько операторов, и у неё одна ясно определённая политика маршрутизации. У системы глобально уникальный номер, ASN. Номер участвует в обмене внешней маршрутной информацией и называет саму систему, а не абонента. Рекомендуемый внешний протокол документа — BGP. Классическая формула из BGP-4, которую RFC пересказывает: набор маршрутизаторов под одним техническим администрированием, который снаружи выглядит как один согласованный план достижимости.

ASN здесь — единица маршрутной политики. Это не ярлык дата-центра и не идентификатор человека. RFC не делит системы на «жилые» и «хостинговые». Из номера нельзя вывести, что адрес «хостинговый, значит бот» или «жилой, значит покупатель». Номер говорит, какая группа префиксов объявляет одну политику наружу.

Один внешний адрес у многих абонентов

RFC 6598 (апрель 2012) выделяет провайдерам общее адресное пространство для Carrier-Grade NAT: блок 100.64.0.0/10. Оно отделено от частных адресов RFC 1918, потому что предназначено для сети провайдера. Пакеты с такими адресами нельзя пересылать за границу провайдера. Снаружи виден уже другой, публичный IPv4, и его делят несколько абонентов.

Системы геолокации в разборе последствий CGN определяют место сервера трансляции, а не конечного устройства. Часть сайтов ограничивает число одновременных входов на один внешний публичный IPv4. Пример документа — игровые консоли: два абонента с одним внешним адресом не могут соединиться друг с другом. Это класс поломки приложений, не замер аудитории. Числа абонентов на один адрес в RFC нет. Слов «резидентный прокси» и «тысячи людей» там нет.

Для репутации адреса следствие прямое. Общий внешний IPv4 — не один человек и не один компьютер. Геоточка, снятая с такого адреса, указывает на сервер трансляции. Список, который кладёт в блок весь адрес, задевает всех, кто в этот момент выходит через него. RFC при этом не рекомендует закрывать адрес на сайте и не связывает CGN с недействительными кликами.

DNSBL — общий список, политика в документе не задана

RFC 5782 (февраль 2010, информационный, консенсус Anti-Spam Research Group) описывает DNS blacklist как общий список IP-адресов или доменов, который запрашивают через DNS. Списки появились как способ помечать адреса за спам и другое нежелательное поведение. Менеджеры сетей используют DNSBL, чтобы резать трафик, и DNSWL, чтобы принимать его охотнее. Документ задаёт устройство запроса. Политику, кого в список класть и как список применять, он прямо не задаёт.

Имя RBL документ оставляет товарным знаком Trend Micro для одного исторического списка, а не общим словом. Называть любой список «RBL» из этого текста не следует.

Это описание почтовых списков. Оно не оценивает качество рекламного клика и не рекомендует закрывать на сайте адрес из такого списка. Попадание адреса в DNSBL не отвечает, кто скликивает рекламу, чем кликфрод отличается от скликивания и вернёт ли Яндекс деньги. Почтовая метка и расход на объявление — разные учёты. Документ их не склеивает.

Сети роботов Яндекса — не ярлык всей системы

Справка Вебмастера пишет, что роботы Яндекса используют автономные сети AS13238, AS208722 и AS212066. Адреса часто меняются, поэтому список IP не публикуют. Проверку по обратному DNS справка предпочитает списку адресов. Наличие ASN Яндекса не означает, что любой адрес этой системы — поисковый робот. Номер системы и роль конкретного запроса — разные проверки. Порядок обратного DNS в этот пересказ не повторяется: он записан отдельно.

Часть роботов качает документы не для индексации и может не слушаться User-agent: *. YaDirectFetcher файл robots.txt не использует. Роботы Метрики в таблице справки помечены как не учитывающие общие правила robots.txt. Вариант Метрики 4.0 качает и кэширует CSS, чтобы воспроизвести страницу в Вебвизоре. Записи YandexAdditionalBot и YandexAdditional учитываются в robots.txt, чтобы ограничить показ контента в быстрых ответах с YandexGPT и в ответах Поиска с Алисой. Запросов для индексирования они не делают.

Отсюда не получается правило «AS13238 в блоке, потому что это Яндекс» и не получается правило «AS13238 всегда пускать». Адреса меняются, список IP не опубликован, и не каждый запрос из этих систем — поисковый обход. Репутация, склеенная из номера системы, эту разницу стирает.

Что можно сказать про адрес, не добавляя ярлыка

Четыре источника оставляют адрес в разных ролях.

Репутация как одно слово в этих текстах не определена. Есть маршрут, есть дележ публичного IPv4, есть почтовый список без политики применения и есть объявленные сети робота, адреса которых меняются. Склеивать их в вердикт «адрес плохой, клик недействительный» источники не позволяют.