An update on residential proxies and the scraper situation
Масштабный рост скрейперов, направленных на сбор данных для обучения ИИ, превратил открытый веб в источник огромного трафика, исходящего из миллионов уникальных IP‑адресов. Большая часть запросов генерируется из «жилых» и мобильных сетей, где устройства задействованы как часть ботнетов без ведома их владельцев; такие сети часто называют residential proxies. Запросы выглядят как обычные браузеры, но почти не скачивают изображения или CSS, а после обнаружения IP‑адрес обычно игнорируют.
После публикации статьи о проблеме в начале 2025 г. Google заблокировал крупный провайдер IPIDEA, что временно снизило нагрузку, однако вскоре появились новые источники — в том числе уязвимые медиа‑стриминговые устройства и компании, продающие «этично» полученные IP‑адреса, например Bright Data, предлагающие бесплатный VPN, превращающий каждый клиент в узел сети‑прокси. Эти практики позволяют операторам запускать произвольный код на миллионах устройств, не ограничиваясь лишь сбором контента. Таким образом, борьба с скрейп‑ботнетами требует не только технических фильтров, но и внимания к экосистеме устройств, которые могут стать частью злоумышленнических сетей.