Что такое парсинг сайта и чем он вредит бизнесу

Парсинг сайта — это сбор уже доступного содержимого, чтобы использовать его в другом месте: скопировать цены, каталог или готовый вывод страницы. Вред для бизнеса начинается там, где чужой магазин выкладывает ваши данные у себя или непрерывно снимает каталог. Запрет в robots.txt страницу недоступной не делает.

Ниже — граница между просьбой к роботу, индексацией и сбором, который OWASP описывает отдельно от обычного обхода.

Что называют парсингом

OAT-011 Scraping в каталоге OWASP — сбор содержимого приложения и других данных для использования в другом месте. Описание говорит о копировании доступных данных и обработанного вывода. Среди целей — эксплуатация собственных данных приложения и влияние на цены. Сбор может идти постоянно или периодами, с поддельной или захваченной учётной записью либо без входа. Если между человеком и приложением стоит другое приложение, страница отсылает к OAT-020. Если цель — получить деньги или товар, к OAT-012.

Падение позиций исходного сайта эта страница не измеряет. Сняли цены — это ещё не приговор поисковой выдаче магазина, с которого их сняли.

Политика спама Google Search называет scraping иначе: забор содержимого с других сайтов, часто автоматический, и публикация его у себя, чтобы влиять на ранжирование. Бьёт она по сайту, который выложил чужое. Примеры нарушения: перепечатка без своего содержания и без указания источника, лёгкая переработка вроде подмены синонимов, воспроизведение чужих лент без пользы для читателя, сайты-сборники чужого видео и картинок без существенной добавленной пользы. Сайт, который нарушает политики спама, может ранжироваться ниже или не появляться в результатах.

Отдельно «Scaled content abuse» называет генерацию многих страниц из чужих лент и выдачи ради позиций, а не ради читателя. Политика не говорит, что у магазина, с которого сняли цены, из-за этого падают позиции. «Machine-generated traffic» на той же странице — автоматические запросы к самому Google, не боты на чужом магазине.

robots.txt не закрывает страницу

Документация Google разделяет обход и индексацию. Запрет Googlebot в robots.txt не мешает адресу появиться в результатах поиска. Чтобы адрес не индексировался, нужен noindex. Чтобы страницу не открыл ни робот, ни человек, нужна другая мера, например пароль. Блокировка Googlebot задевает Поиск, Discover, Картинки, Видео и Новости.

RFC 9309 задаёт протокол исключения роботов: владелец сервиса в файле robots.txt просит автоматических клиентов соблюдать правила доступа к URI. Раздел 1 прямо пишет, что эти правила не являются формой авторизации доступа. Группа без правил в конце файла неявно разрешает всё. Если для токена робота нет своей группы и нет группы *, правила не применяются. URI самого /robots.txt разрешён неявно. RFC описывает клиентов, которые протокол соблюдают. Он не обещает, что произвольная программа его прочитает.

У Яндекса запрет в robots.txt тоже не вынимает страницу из поиска. Справка Вебмастера пишет, что файл ограничивает обход и может снизить нагрузку. Страницы, ограниченные в файле, могут участвовать в поиске Яндекса. Чтобы убрать их из поиска, нужен noindex в HTML или HTTP-заголовке, и такие страницы как раз не надо закрывать в robots.txt: иначе робот не увидит указание. Если файл не выполняет требования (не больше 500 КБ, имя robots.txt в корне, ответ 200 либо редирект на другой robots.txt с ответом 200), сайт считается открытым для индексирования. Кириллица в файле и в HTTP-заголовках сервера запрещена: домен пишут в Punycode, путь — в кодировке сайта. Роботы других систем могут читать директивы иначе.

Сколько автоматики видит сеть одного вендора

12-й отчёт Imperva Bad Bot Report (документ 2025 года) пишет, что в 2024 году автоматический трафик впервые за десять лет превысил человеческий и составил 51% веб-трафика в их наблюдении. Вредоносные боты — 37% всего этого трафика против 32% в 2023 году, обычные боты — 14%, люди — 49%. Отчёт строит цифры по данным глобальной сети Imperva за 2024 год, включая 13 триллионов заблокированных запросов вредоносных ботов на тысячах доменов и в разных отраслях. Это данные вендора.

Знаменатель — трафик, который видит сеть Imperva; отчёт называет его интернет-трафиком. Это не перепись всего интернета, не доля спама в формах и не счёт хостинга. 13 триллионов — заблокированные запросы, не те же 37% трафика.

Тот же отчёт пишет, что около 44% продвинутого бот-трафика было направлено на API, а около 10% — на веб-приложения. В разборе атак ботов на API сбор данных — около 31%, платёжный фрод — около 26%, захват учётных записей — около 12%, скальпинг — около 11%. Скальпинг отчёт в этом месте описывает как быструю покупку или резервирование большого объёма дефицитных товаров и услуг. Проценты — доли в разборе атак на API у клиентов сети Imperva, не доля заказов магазина.

Сбор каталога и скликивание рекламы — разные автоматические действия. Кликфрод бьёт по расходу объявлений. Парсинг бьёт по данным, которые страница уже отдала. Кто нажимает объявления, разобрано в статье «Кто и зачем скликивает рекламу». Недействительные клики и возврат за скликивание к снятому каталогу не относятся: рекламный кабинет не возвращает деньги за то, что цены уехали на чужой сайт.