Hacker News Digest

Масштабный рост скрейперов, направленных на сбор данных для обучения ИИ, превратил открытый веб в источник огромного трафика, исходящего из миллионов уникальных IP‑адресов. Большая часть запросов генерируется из «жилых» и мобильных сетей, где устройства задействованы как часть ботнетов без ведома их владельцев; такие сети часто называют residential proxies. Запросы выглядят как обычные браузеры, но почти не скачивают изображения или CSS, а после обнаружения IP‑адрес обычно игнорируют.

После публикации статьи о проблеме в начале 2025 г. Google заблокировал крупный провайдер IPIDEA, что временно снизило нагрузку, однако вскоре появились новые источники — в том числе уязвимые медиа‑стриминговые устройства и компании, продающие «этично» полученные IP‑адреса, например Bright Data, предлагающие бесплатный VPN, превращающий каждый клиент в узел сети‑прокси. Эти практики позволяют операторам запускать произвольный код на миллионах устройств, не ограничиваясь лишь сбором контента. Таким образом, борьба с скрейп‑ботнетами требует не только технических фильтров, но и внимания к экосистеме устройств, которые могут стать частью злоумышленнических сетей.

• Обсуждается рост агрессивных веб‑скрейперов и их влияние на сайты, особенно на новостные ресурсы и архивные проекты.
• Упоминаются резиденциальные прокси‑сети, которые используют обычных пользователей в качестве «масок» для ботов.
• Предлагаются альтернативы вроде proof‑of‑work, но отмечается, что они добавляют задержки и не всегда эффективны против масштабных ботнетов.
• Вызываются идеи по улучшению общих архивов (Common Crawl) и защите контента без ущерба для обычных пользователей.

Во время 12-часового перелёта из Канады в Гонконг на борту Air Canada автор обнаружил, что бесплатный Wi-Fi ограничен только мессенджерами. Вместо того, чтобы заплатить 30 CAD за полный доступ, он решил «взломать» систему. С помощью эксперта по безопасности сетей они попробовали три подхода: самоподписанный SSL-сертификат, маскировка DNS-запросов и туннелирование DNS. Первые два метода провалились из-за жёсткой фильтрации IP и отсутствия UDP. Третий подход оказался рабочим: туннель через DNS позволил обойти ограничения и получить полный доступ к GitHub и другим сайтам.

• Пользователи обсуждают, что если ICMP-запросы не проходят, это не обязательно означает блокировку IP-адреса — возможно, просто блокируется ICMP.
• Участники обсуждают, что если DNS-запросы проходят, то можно использовать DNS-туннель, чтобы обойти ограничения.
• Участники обсуждают, что если есть ограничения на использование VPN, то можно использовать прокси на порту 53, который обычно используется для DNS-запросов.
• Участники обсуждают, что если есть ограничения на использование VPN, то можно использовать прокси на порту 53, который обычно используется для DNS-запросов.
• Участники обсуждают, что если есть ограничения на использование VPN, то можно использовать прокси на порту 53, который обычно используется для DNS-запросов.

Traefik отмечает десятилетие развития как облачного прокси-приложения с открытым исходным кодом. За эти годы проект вырос из простого инструмента маршрутизации в полноценную платформу, включающую Traefik Proxy, Traefik Hub API Gateway и решения для управления API. Сообщество сыграло ключевую роль в его эволюции, способствуя появлению функций для Kubernetes, Docker Swarm, веб-приложений и даже шлюзов для ИИ.

Платформа теперь предлагает решения для безопасности, такие как WAF, управление политиками API и интеграции с экосистемами вроде HashiCorp, Microsoft и Oracle. Traefik продолжает адаптироваться к современным потребностям, включая поддержку GitOps и мокирование API, демонстрируя гибкость и устойчивость в быстро меняющейся ИТ-среде.

• Пользователи отмечают сложность настройки и неудовлетворительную документацию Traefik, особенно при нестандартных требованиях.
• Многие предпочитают альтернативы, такие как Caddy, за его простоту и автоматизацию TLS, или Envoy как CNCF-стандарт.
• Traefik хвалят за интеграцию с Docker и автоматическое управление сертификатами, но критикуют за закрытие базовых функций в enterprise-версии.
• Поддержка динамической конфигурации через Docker-лейблы считается сильной стороной, но сам формат конфигурации часто называют запутанным.
• Проект признают зрелым и полезным для конкретных сценариев, но выбор инструмента часто зависит от личных предпочтений и задач.

Как военный проект стал щитом приватности

На скрипучем поезде в тумане я пытаюсь зайти на сайт, но Wi-Fi блокирует его. Запускаю Tor Browser — страница открывается мгновенно.

Tor, или «тёмная сеть», ассоциируется с криминалом, но финансируется частично правительством США, а BBC и Facebook ведут в нём «зеркала» для обхода цензуры. Суть: трафик шифруется и прыгает по серверам мира, скрывая пользователя и обходя блокировки.

От криптовойн до Tor

90-е: хакеры-циферпанки вооружают гражданских военным шифрованием, предупреждая, что интернет может стать тоталитарным. Бизнес и Пентагон поддерживают: свободный поток данных = рыночная победа.

В исследовательской лаборатории ВМС США (NRL) инженеры ищут способ скрыть IP подлодок. Их решение — луковая маршрутизация — ложится в основу Tor.

Двойная игра государства

Сегодня одни ведомства финансируют Tor, другие требуют «задних дверей». Технологии, рождённые для шпионажа, стали инструментом сопротивления цензуре и массовой слежке.

• @neilv использовал Tor для скрытого мониторинга международной торговой площадки, выбирая выходные узлы под нужные регионы.
• @palsecam и @jmclnx рассказали, что запускать ретранслятор или bridge дёшево (VPS за $5) и безопасно, помогая обходить цензуру.
• Некоторые считают Tor «мертвым» или скомпрометированным; другие советуют прятаться в толпе, использовать VPN, residential-прокси или переходить на i2p.
• Книга «Tor: From the Dark Web to Your Browser» доступна бесплатно от MIT Press и получила положительные отзывы.
• Основные советы по безопасности: брать Tails на флешке, не ставить расширений в Tor Browser, не логиниться личными данными.