Две трети всего, что приходит на сайты российских брокеров от ИИ-компаний, — это выкачивание контента. В июне было 7%.
Такую картину за два летних месяца увидела Servicepipe, разбирая, кто именно ходит на эти сайты. В июне роботы, выкачивающие контент для обучения моделей, сделали 420 тысяч запросов. В августе — 5,5 миллиона. Это рост примерно в тринадцать раз. Их доля во всём ИИ-трафике поднялась с 7% до 68,82%, то есть теперь две трети обращений от ИИ-компаний — это выкачивание, а не работа с пользовательским запросом.
Общий ИИ-трафик за то же время вырос всего с 6 до 8 миллионов запросов. То есть суммарно стало ненамного больше, а внутри всё перераспределилось в пользу скраперов.
Больше половины выкачивания даёт один игрок — боты Meta*, 55,14% скраперских запросов, свыше 3 миллионов в августе. Дальше ClaudeBot — 27,78%, больше полутора миллионов. На GPTBot, Bytespider и TikTokSpider вместе приходится около 16%. Замгендиректора Servicepipe Даниил Щербаков объясняет всплеск подготовкой к запуску новых моделей: боты набирают впрок массивы текста, чтобы заложить в будущие модели финансовый контекст, отраслевую терминологию и логику биржевого рынка.
Забирают при этом не случайные страницы, а самое ценное: аналитику, экспертные статьи, описания продуктов, тарифы и условия торговли.
Что просело одновременно
Два других вида трафика упали. Поисковые краулеры — с 3,6 до 1,8 миллиона запросов, доля с 60% до 22,4%. И обращения ассистентов, которые открывают конкретную страницу, отвечая на вопрос пользователя, — с 2 миллионов до 700 тысяч, доля с 33% до менее чем 9%.
Вторую цифру легко прочитать неправильно. Речь про запросы роботов, а не про визиты людей: о том, сколько живых посетителей пришло на сайт из нейросетей, эти данные не говорят ничего. Означают они другое — ИИ-сервисы стали реже заглядывать на сайт в момент ответа пользователю, потому что нужное уже выкачано заранее и лежит внутри модели.
Чего в данных нет
Денежной оценки ущерба владельцам сайтов нет ни в одном источнике. Нет и размера выборки: сколько именно брокерских сайтов замеряли, в открытых публикациях не сказано.
Есть и методическая дыра, которую стоит держать в голове. Как отличали скрапер от краулера и от ассистента, компания не раскрывает. Если по имени бота в заголовке запроса — то оно, как известно, не проверяется и подделывается кем угодно, и часть «ботов Meta*» могла быть чем-то другим.
Наконец, считал это разработчик систем фильтрации трафика и антибот-защиты — то есть продавец решения ровно той проблемы, которую описывает. Данные собственные, внешней проверки нет. Сам Щербаков при этом не советует закрываться полностью.
Данные Servicepipe — в «Ведомостях». Открытый пересказ с полной разбивкой по ботам — на CNews.
\* Meta признана экстремистской организацией, её деятельность запрещена на территории РФ.
