Hacker News Digest

После сообщений об ударах по дата-центрам «Яндекса» в сети распространились утверждения, что российские ботофермы и операции влияния выведены из строя. Графики HTTP-трафика действительно показали резкое падение, но агрегированные метрики обманчивы. У «Яндекса» два автономных номера: AS13238 обслуживает поисковик, AS200350 — облачные сервисы. По данным Cloudflare Radar, 11 октября трафик поиска упал на 99% ниже базового уровня, облака — на 90%; к 13 октября оба оставались на 86–90% ниже нормы.

Однако падение затронуло разные вещи. С AS13238 ушёл почти исключительно верифицированный поисковый краулер: 99,5% запросов классифицированы как автоматические, 93,6% из них — «Verified». Главный эффект — сокращение индексации контента. С AS200350, где 95% запросов — боты, но ни один не верифицирован, временно снизились сканирование уязвимостей и зондирование плагинов. При этом высокообъёмная автоматизация не исчезла — она мигрировала к другим хостинг-провайдерам.

Данные не подтверждают, что удары парализовали манипуляции в соцсетях: глобальный трафик за период события даже вырос на 1,1%. Вывод: объём трафика по ASN — ненадёжный индикатор поведения ботов. Защита требует анализа поведения запросов — общих отпечатков JA4, аномальных частот, правил WAF. Физическая инфраструктура статична, а вредоносная автоматизация создана, чтобы перемещаться.

Данные Cloudflare показывают падение трафика из Yandex.Cloud на ~40 % и блокировки на 70 %, что указывает на снижение вредоносного трафика из этого ASN. Однако эти данные отражают только трафик, проходящий через сеть Cloudflare, и не охватывают основные соцсети, поэтому выводы о полном отключении ботов нельзя считать окончательными. Cloudflare измерял в основном скрейпинг‐боты, а не ботов‐пропагандистов, публикующих комментарии в соцсетях. По наблюдениям, доля комментариев, генерируемых ботами, упала с ~13‐27 % до менее 1 % после отключения, что свидетельствует о снижении активности некоторых бот‐сетей. Yandex.Cloud значительно меньше AWS; крупные российские компании используют собственные дата‐центры, поэтому общий эффект от отключения ограничен. Поисковая выдача yandex.com сейчас ограничена одной страницей из 10 результатов, указывая на проблемы с поисковым сервисом. Некоторые пользователи отмечают, что последствия отключения были кратковременными и сервисы сейчас работают нормально. Боты‐пропагандисты часто используют мобильные SIM‐карты и другие методы, недоступные для отслеживания Cloudflare. Отсутствие доказательств не является доказательством отсутствия: Cloudflare не смог обнаружить ботов, а не доказал их отсутствие. Для более точного измерения влияния ботов следует использовать данные непосредственно от соцсетей или специализированных мониторинговых сервисов. Масштабы влияния на информационные операции остаются неясными.

Публикация проекта на Hacker News привела к неожиданному последствию: сайт начал испытывать резкое замедление, причём не сразу, а через несколько дней после публикации. Автор, разрабатывающий «sprinklz.io» — настраиваемый агрегатор новостей с функцией понижения приоритета определённых тем, — изначально списал это на возросшее внимание аудитории. Однако логи показали, что подавляющее большинство запросов даже не пыталось загружать статьи: это был трафик от ИИ-ботов, которые обходили конечные точки, не свойственные обычным пользователям.

Яркий факт: пост набрал около сотни голосов, и пользователи особенно оценили возможность скрывать из ленты материалы про большие языковые модели. Но именно эта популярность обнажила проблему — сайт, построенный как одностраничное приложение, столкнулся с нагрузкой, не связанной с реальной активностью. Автор отметил, что при горстке живых авторизованных пользователей сервер демонстрировал непомерно высокую загрузку. Это заставило его добавить журналирование на уровне всех конечных точек, чтобы выявить источник аномалии.

Публикация на HN часто триггерит агрессивный бот-трафик, который может привести к огромным счетам за облачные ресурсы и DDoS-эффекту даже без популярности поста. Боты начинают сканировать ресурс мгновенно после добавления TLS на поддомен или публикации ссылки на HN, даже если пост не набрал лайков. Рекомендуется блокировать целые ASN крупных облачных провайдеров (AWS, Google Cloud, Azure, Alibaba Cloud, Oracle) — через них идет основной поток злонамеренного скрапинга и поиска уязвимостей. Следует различать типы LLM-трафика: индексаторы (GPTBot, ClaudeBot) можно блокировать, но пользовательские агенты (ChatGPT-User, Claude-User) могут приносить ценных посетителей. Бот-трафик приводит к серьезным финансовым потерям: @QueensGambit сообщил о счете в $10,000 от GCP из-за ClaudeBot, @layerv-ai отмечает резкий рост счетов Vercel даже при наличии защиты Cloudflare. Для борьбы с ботами рекомендуют использовать специализированные списки блокировки (например, blocklist-abuseipdb по совету @pmlnr) или инструменты вроде CF Turnstile (@paaloeye). Чтобы снизить нагрузку и улучшить скорость, советуют отказаться от SPA в пользу кэшируемых статических страниц и серверного рендеринга (@est, @mediumsmart). Альтернатива стандартным прокси-решениям — собственная версия Anubis на Elixir для валидации вызовов внутри приложений (@8by3). Спор о масштабах проблемы: @janalsncm считает, что несколько запросов в минуту легко выдержит даже старый ноутбук, в то время как другие описывают ситуацию как полноценный DDoS и финансовый крах.

AI губит веб: кликов нет, контент исчезает

Поиск ChatGPT и Google теперь выдаёт ответы прямо в выдаче, снижая трафик сайтов. Бизнес теряет мотивацию создавать контент, а ИИ-модели теряют «топливо».

25 лет Google и компании жили симбиозом: сайты делали качественные материалы, Google присылал им посетителей, пользователи получали информацию. Теперь Google, боясь конкуренции с ChatGPT, разрывает этот договор.

Решение — регулирование, но иски пока проигрывают, а новые законы не успевают. Google уже тестирует «AI Mode» без ссылок.

Возможен вариант: пузырь лопнет, дорогие вычисления станут невыгодными, и генеративный ИИ исчезнет из поиска. Но джинн выпущен.

• Участники считают, что SEO-контент и рекламная модель уже давно «убили» качественный веб, а ИИ-ответы лишь ускоряют этот процесс.
• Многие авторы блогов и форумов теряют мотивацию публиковать материалы: трафик падает, а их тексты всё равно становятся кормом для чужих ИИ.
• Прогнозируется, что дальнейшее распространение ИИ-сводок приведёт к ещё большему количеству «токсичного» и платного контента и к исчезновению бесплатных ресурсов.
• Некоторые видят выход в возвращении к оплате за контент, курированным подборкам или даже к библиотекам и «докоммерческому» вебу 90-х.
• Сообщество разделилось: одни рады концу рекламной модели, другие опасаются, что без неё исчезнет и вся полезная информация.