Hacker News Digest

Генеративные ИИ-сервисы вроде Gemini и ChatGPT дают мгновенные ответы, иногда со ссылками на Википедию, но пользователи почти никогда по ним не переходят, принимая машинный вывод без проверки. Это подрывает саму основу Википедии: её пишут, редактируют и администрируют волонтёры, которые сами выходят из числа читателей. Падение аудитории означает меньше статей, правок и исправлений — вплоть до риска заброшенной и, возможно, исчезнувшей энциклопедии. Это потеря и для человечества, и для самой ИИ-индустрии, которая активно обучает свои системы на пяти миллиардах слов Википедии.

Википедия — не просто обучающие данные, а самоуправляемое сообщество, независимое от коммерческого и государственного контроля и работающее ради общего блага. Она оказалась успешнее коммерческих аналогов вроде Encarta и машинной Grokipedia, а её влияние таково, что в некоторых странах, например в Китае, её блокируют. При этом ИИ-компании, контролирующие онлайн-поиск, либо собирают её контент неавторизованным скрейпингом, либо, как Microsoft, Amazon и Meta, платят за высокоскоростной доступ к API.

Автор опирается на «модель социальной связи» Айрис Мэрион Янг: обязанность исправлять несправедливость определяется участием человека в соответствующих структурах. Как участники процессов производства знания, академики этически обязаны защищать открытые сообщества знаний. Но для этого вузы должны признавать такую публичную работу — сейчас вклад в Википедию почти не учитывается при оценке преподавателей. Поддержка подобных усилий помогла бы и восстановить доверие общества к высшему образованию, подтвердив роль университетов как хранителей знаний, служащих человечеству.

В академических работах, включая высокорейтинговые журналы, растет цитирование Википедии. Это вызывает споры: одни считают её надежным ресурсом, повышающим прозрачность, другие — предвзятым третичным источником, который не заменяет глубокие исследования и может искажать данные. Для обеспечения устойчивости ссылок и борьбы с «геймингом» цитат рекомендуется использовать архивные версии через Wayback Machine. Несмотря на высокую видимость в Google, аудитория и активность редакторов снижаются, так как пользователи AI-сервисов редко переходят по ссылкам. Для развития открытых знаний необходима институциональная поддержка вузов и научных организаций. В качестве альтернативы предлагается модель с известными авторами и поддержкой НКО (например, latentpedia.org).

С 30 октября новые коммерческие условия Meta позволят компании собирать контент с сайтов, «связанных» с бизнес-аккаунтами на её платформах. Под действие попадут практически все новостные издания, поскольку у каждого есть хотя бы один бизнес-аккаунт для управления страницами, рекламой и каналами в Facebook, Instagram и WhatsApp. Продолжая пользоваться сервисами, владельцы таких аккаунтов автоматически дают согласие на скрейпинг.

Юристы, изучившие документ по запросу Nieman Lab, считают, что формулировки позволяют Meta использовать собранный контент для обучения ИИ-продуктов — в других разделах условий «AI at Meta» прямо назван одним из них. «Это примечательное положение, спрятанное в условиях обслуживания, учитывая, что оно даёт Meta доступ к материалам, которые на лицензионном рынке стоили бы многие миллионы долларов», — заявил медиаюрист Мэтт Топик. По его словам, неясно, признает ли суд условие исполнимым, но издателям стоит исходить из того, что оно сработает.

В тексте Meta прямо оговаривается право использовать автоматический софт — скраперы, ботов, пауков и краулеры — для доступа, индексации, кэширования, анализа и сбора данных с доменов и страниц, а также периодически обновлять эти данные.

Обсуждение показывает, что новые условия Meta формализуют уже существующую практику скрапинга контента с новостных сайтов, предоставляя компании юридическую защиту. Однако это вызывает опасения: возможное нарушение лицензий третьих сторон, законов ЕС и антимонопольного законодательства. Многие считают, что реальное согласие владельцев контента не получено, а формулировка «will consent» вводит в заблуждение. Скрапинг остаётся «серой зоной», и его включение в правила позволяет Meta защищаться от претензий, но вызывает сомнения в легитимности таких условий. Для защиты сайтов предлагается разместить чёткое click‐wrap соглашение, запрещающее скрапинг, либо блокировать запросы Meta‐бота по IP, заголовкам или поддельному User‐Agent. Некоторые эксперты видят в новых условиях форму «bundling» — принудительное объединение рекламных услуг с передачей данных. Судебная перспектива остаётся неопределённой: одни считают, что такие условия могут быть признаны недействительными, другие полагают, что они выдержат проверку до судебного разбирательства.

Масштабный рост скрейперов, направленных на сбор данных для обучения ИИ, превратил открытый веб в источник огромного трафика, исходящего из миллионов уникальных IP‑адресов. Большая часть запросов генерируется из «жилых» и мобильных сетей, где устройства задействованы как часть ботнетов без ведома их владельцев; такие сети часто называют residential proxies. Запросы выглядят как обычные браузеры, но почти не скачивают изображения или CSS, а после обнаружения IP‑адрес обычно игнорируют.

После публикации статьи о проблеме в начале 2025 г. Google заблокировал крупный провайдер IPIDEA, что временно снизило нагрузку, однако вскоре появились новые источники — в том числе уязвимые медиа‑стриминговые устройства и компании, продающие «этично» полученные IP‑адреса, например Bright Data, предлагающие бесплатный VPN, превращающий каждый клиент в узел сети‑прокси. Эти практики позволяют операторам запускать произвольный код на миллионах устройств, не ограничиваясь лишь сбором контента. Таким образом, борьба с скрейп‑ботнетами требует не только технических фильтров, но и внимания к экосистеме устройств, которые могут стать частью злоумышленнических сетей.

• Обсуждается рост агрессивных веб‑скрейперов и их влияние на сайты, особенно на новостные ресурсы и архивные проекты.
• Упоминаются резиденциальные прокси‑сети, которые используют обычных пользователей в качестве «масок» для ботов.
• Предлагаются альтернативы вроде proof‑of‑work, но отмечается, что они добавляют задержки и не всегда эффективны против масштабных ботнетов.
• Вызываются идеи по улучшению общих архивов (Common Crawl) и защите контента без ущерба для обычных пользователей.

Автор столкнулся с проблемой агрессивных ботов, собирающих данные для обучения LLM, которые составили 99% трафика на его сервере. В отличие от поисковых роботов, эти боты игнорируют robots.txt, постоянно меняют IP-адреса и отправляют множество запросов в секунду. Попытки блокировать их через IP-списки, ограничения по скорости или защитные стены (CAPTCHA, paywall) оказались неэффективными, так как боты просто находили обходные пути, а защитные меры мешали обычным пользователям.

Самым эффективным решением оказалось создание динамического генератора бессмысленного контента — "Markov babbler", который потребляет всего около 60 микросекунд процессорного времени на запрос и использует 1.2 МБ памяти. Этот подход не требует поддержки черных списков и позволяет эффективно "кормить" ботов, не тратя ресурсы на передачу реальных данных. Автор подчеркивает, что его контент лицензирован CC BY-NC-SA 4.0, но явно не разрешен для использования в обучении ML/LLM.

• Основной метод борьбы с AI-скраперами — генерация бессмысленного контента через Markov-цепи или gzip-бомбы, чтобы увеличить затраты скраперов на обработку данных.
• Этические риски: загрязнение обучающих данных LLM может привести к непредсказуемым последствиям и нарушению доверия к системам ИИ.
• Технические альтернативы: использование Basic Auth с публичными учётными данными или редирект на специализированные сервисы вроде "Markov Babbler".
• Проблема масштабирования: массовое применение методов защиты может привести к блокировке легитимного трафика и снижению репутации сайта.
• Эффективность сомнительна: современные LLM могут детектировать мусорный контент, а скраперы легко обходят простые защиты (например, через браузерные прокси).