Hacker News Digest

После сообщений об ударах по дата-центрам «Яндекса» в сети распространились утверждения, что российские ботофермы и операции влияния выведены из строя. Графики HTTP-трафика действительно показали резкое падение, но агрегированные метрики обманчивы. У «Яндекса» два автономных номера: AS13238 обслуживает поисковик, AS200350 — облачные сервисы. По данным Cloudflare Radar, 11 октября трафик поиска упал на 99% ниже базового уровня, облака — на 90%; к 13 октября оба оставались на 86–90% ниже нормы.

Однако падение затронуло разные вещи. С AS13238 ушёл почти исключительно верифицированный поисковый краулер: 99,5% запросов классифицированы как автоматические, 93,6% из них — «Verified». Главный эффект — сокращение индексации контента. С AS200350, где 95% запросов — боты, но ни один не верифицирован, временно снизились сканирование уязвимостей и зондирование плагинов. При этом высокообъёмная автоматизация не исчезла — она мигрировала к другим хостинг-провайдерам.

Данные не подтверждают, что удары парализовали манипуляции в соцсетях: глобальный трафик за период события даже вырос на 1,1%. Вывод: объём трафика по ASN — ненадёжный индикатор поведения ботов. Защита требует анализа поведения запросов — общих отпечатков JA4, аномальных частот, правил WAF. Физическая инфраструктура статична, а вредоносная автоматизация создана, чтобы перемещаться.

Данные Cloudflare показывают падение трафика из Yandex.Cloud на ~40 % и блокировки на 70 %, что указывает на снижение вредоносного трафика из этого ASN. Однако эти данные отражают только трафик, проходящий через сеть Cloudflare, и не охватывают основные соцсети, поэтому выводы о полном отключении ботов нельзя считать окончательными. Cloudflare измерял в основном скрейпинг‐боты, а не ботов‐пропагандистов, публикующих комментарии в соцсетях. По наблюдениям, доля комментариев, генерируемых ботами, упала с ~13‐27 % до менее 1 % после отключения, что свидетельствует о снижении активности некоторых бот‐сетей. Yandex.Cloud значительно меньше AWS; крупные российские компании используют собственные дата‐центры, поэтому общий эффект от отключения ограничен. Поисковая выдача yandex.com сейчас ограничена одной страницей из 10 результатов, указывая на проблемы с поисковым сервисом. Некоторые пользователи отмечают, что последствия отключения были кратковременными и сервисы сейчас работают нормально. Боты‐пропагандисты часто используют мобильные SIM‐карты и другие методы, недоступные для отслеживания Cloudflare. Отсутствие доказательств не является доказательством отсутствия: Cloudflare не смог обнаружить ботов, а не доказал их отсутствие. Для более точного измерения влияния ботов следует использовать данные непосредственно от соцсетей или специализированных мониторинговых сервисов. Масштабы влияния на информационные операции остаются неясными.

Публикация проекта на Hacker News привела к неожиданному последствию: сайт начал испытывать резкое замедление, причём не сразу, а через несколько дней после публикации. Автор, разрабатывающий «sprinklz.io» — настраиваемый агрегатор новостей с функцией понижения приоритета определённых тем, — изначально списал это на возросшее внимание аудитории. Однако логи показали, что подавляющее большинство запросов даже не пыталось загружать статьи: это был трафик от ИИ-ботов, которые обходили конечные точки, не свойственные обычным пользователям.

Яркий факт: пост набрал около сотни голосов, и пользователи особенно оценили возможность скрывать из ленты материалы про большие языковые модели. Но именно эта популярность обнажила проблему — сайт, построенный как одностраничное приложение, столкнулся с нагрузкой, не связанной с реальной активностью. Автор отметил, что при горстке живых авторизованных пользователей сервер демонстрировал непомерно высокую загрузку. Это заставило его добавить журналирование на уровне всех конечных точек, чтобы выявить источник аномалии.

Публикация на HN часто триггерит агрессивный бот-трафик, который может привести к огромным счетам за облачные ресурсы и DDoS-эффекту даже без популярности поста. Боты начинают сканировать ресурс мгновенно после добавления TLS на поддомен или публикации ссылки на HN, даже если пост не набрал лайков. Рекомендуется блокировать целые ASN крупных облачных провайдеров (AWS, Google Cloud, Azure, Alibaba Cloud, Oracle) — через них идет основной поток злонамеренного скрапинга и поиска уязвимостей. Следует различать типы LLM-трафика: индексаторы (GPTBot, ClaudeBot) можно блокировать, но пользовательские агенты (ChatGPT-User, Claude-User) могут приносить ценных посетителей. Бот-трафик приводит к серьезным финансовым потерям: @QueensGambit сообщил о счете в $10,000 от GCP из-за ClaudeBot, @layerv-ai отмечает резкий рост счетов Vercel даже при наличии защиты Cloudflare. Для борьбы с ботами рекомендуют использовать специализированные списки блокировки (например, blocklist-abuseipdb по совету @pmlnr) или инструменты вроде CF Turnstile (@paaloeye). Чтобы снизить нагрузку и улучшить скорость, советуют отказаться от SPA в пользу кэшируемых статических страниц и серверного рендеринга (@est, @mediumsmart). Альтернатива стандартным прокси-решениям — собственная версия Anubis на Elixir для валидации вызовов внутри приложений (@8by3). Спор о масштабах проблемы: @janalsncm считает, что несколько запросов в минуту легко выдержит даже старый ноутбук, в то время как другие описывают ситуацию как полноценный DDoS и финансовый крах.

Падение трафика ботов Яндекса в Cloudflare связано с отключением нескольких дата‐центров Яндекса, поэтому снижается только бот‐трафик из их ASN, в то время как общий бот‐трафик из России почти не изменился.

• Снижение показателя «Bot traffic from Yandex» объясняется тем, что три из пяти основных дата‐центров Яндекса вышли из строя, и их ASN перестал генерировать запросы.

• Метрика измеряет процент HTTP‐запросов, классифицированных как боты, исходящих из IP‐диапазона Яндекса, а не общий объём трафика сайта.

• Сравнение с общим бот‐трафиком по России и миру показывает, что заметного падения нет – снижение локализовано только в ASN Яндекса.

• Большая часть трафика из этого ASN представляет собой поисковые краулеры и сервисные запросы, а не вредоносные или рекламные боты.

• Cloudflare классифицирует ботов по баллам (1‐29 – бот, 30+ – человек); при отключении дата‐центров количество запросов с низким баллом резко падает.