Hacker News Digest

Geofabrik обновила сервер для скачивания данных OpenStreetMap, сделав загрузки быстрее и доступнее. Теперь запросы на файлы с суффиксом «…latest» автоматически перенаправляются на актуальную версию через HTTP-редирект.

Однако сервер сталкивается с проблемами из-за нерационального использования: некоторые пользователи массово скачивают одни и те же большие файлы (например, 20-ГБ данные Италии тысячи раз за сутки), что замедляет работу для всех и вынуждает блокировать IP-адреса, затрагивая и невинных. Geofabrik призывает скачивать ответственно: использовать единый планшетный файл с planet.openstreetmap.org для глобальных данных, применять pyosmium-up-to-date для инкрементных обновлений крупных регионов (это экономит 98% трафика) и контролировать автоматизированные скрипты во избежание сбоев.

• Предлагается использовать BitTorrent или аналогичные P2P-технологии для распределения нагрузки при скачивании больших файлов, таких как данные OSM.
• Обсуждается необходимость внедрения базовых мер защиты: ограничение запросов (rate limiting), обязательная авторизация (API-ключи) для предотвращения злоупотреблений.
• Основная проблема — безответственное использование ресурсов, часто из-за ошибок в автоматизированных скриптах и CI/CD-пайплайнах, которые многократно загружают одни и те же файлы.
• Высказывается мнение, что часть пользователей не осознаёт последствий своих действий, и простые технические решения могли бы предотвратить проблему.
• Отмечается, что некоторые корпоративные среды блокируют P2P-трафик, что ограничивает применимость решений на основе BitTorrent.

Краткий русский пересказ утечки Geedge & MESA

• 11 сентября 2025 года утекло ≈600 ГБ внутренних данных «Великого китайского файрвола» (GFW): исходники, логи, переписка.
• Источник — компания Geedge Networks (главный учёный — «отец GFW» Фан Бинсин) и лаборатория MESA при Институте информатики АН Китая.
• Документы показывают: разработка и эксплуатация систем фильтрации для Синьцзяна, Цзянсу, Фуцзяня; экспорт цензуры в Мьянму, Пакистан, Эфиопию, Казахстан и другие страны «Пояса и пути».
• Архивы: 500 ГБ RPM-репозиторий, 35 ГБ Git MESA, 15 ГБ Jira Geedge, десятки документов Word о тендерах, графиках, отчётах.
• Зеркала: BitTorrent и HTTPS на EnlaceHacktivista.
• Рекомендация: разбирать только в изолированной виртуалке — возможны следящие модули и вредоносное ПО.

• Компания Geedge с 2018 г. продаёт авторитарным режимам (Казахстан, Пакистан, Беларусь, Россия) «Great-Firewall-ин-а-box» под маркой Tiangou Secure Gateway: DPI, MITM, SNI-сканирование, «замедление» SSH/VPN, блокировка QUIC и облачных IP.
• Участники считают, что технологии цензуры уже массово экспортируются западными вендорами (Cisco, Nokia, Siemens, Blue Coat) и внедряются в корпоративных и государственных сетях; «западный файрвол» — вопрос времени и удобного повода.
• Обход всё ещё возможен (v2ray, Outline/Shadowsocks, ротация серверов, маскировка трафика), но GFW быстро учится: типичный Outline-блок наступает через 3 дня наблюдений.
• Мнения морализаторов разделились: кто-то видит в разработчиках «веру во всё ради общего блага», кто-то — «провалившихся людей»; упоминается, что в Китае индивидуализм воспринимается как вредный «западный» порок.
• Лейтмотив: «как только власть попробовала цензуру, бутылку уже не закупорить» — примеры Непала, Беларуси, России; в то же время всплывают новые исследования и инструменты как для усиления, так и для обхода блокировок.

• Fediverse (Mastodon, Pixelfed и др.): серверы разделены на «крупнейший» и «остальные» в процентах.
• Atmosphere (Bluesky, WhiteWind и др.): аналогичное деление.

Данные обновляются регулярно.
Концентрация измеряется индексом Херфиндаля-Хиршмана (HHI):

• 0 ≈ полная децентрализация,
• 10 000 ≈ монополия.
  В экономике: <100 — высокая конкуренция, <1500 — неконцентрировано, >2500 — высокая концентрация.

Отслеживаются активные пользователи: для Fediverse — на серверах (инстансах), для Atmosphere — на PDS (личных серверах данных).

Код и данные на GitHub. Предложения и PR приветствуются.
Автор: Rob Ricci (@ricci@discuss.systems, @ricci.io).

• Обсуждение крутилось вокруг того, насколько реально «избежать централизации» в разных сетях: Fediverse, ATProto/Bluesky, Nostr, Git, BitTorrent, SMTP, Bitcoin.
• Участники согласились, что полной децентрализации не существует: всегда появляются «точки притяжения» — GitHub, крупные инстансы Mastodon, Coinbase, трекеры.
• Сравнивали HHI-метрику: Mastodon выглядит менее сконцентрированным, но уступает по числу пользователей; Bluesky проще для массового пользователя, но дороже в инфраструктуре.
• Поднимали риски: спам и DDoS в открытых сетях, исчезновение мелких узлов, дефедерация, отсутствие UX-консистентности.
• Главный вывод: «децентрализация» сама по себе не цель, а баланс между устойчивостью к цензуре, удобством и экономикой узлов.