A year of fighting scrapers on my 1.5 million-page website
Главная мысль: 99 % трафика вашего сайта составляют боты, а обычные аналитика показывают лишь человеческую активность. За год вы столкнулись с миллионами запросов от китайских сканеров, а также с постоянным «чтением» страниц поисковыми ботами вроде Anthropic и Amazon‑crawler, которые не генерируют реальных посетителей.
Ключевые цифры, которые стоит запомнить: 3,6 млн запросов от китайских ботов за один день; Cloudflare сообщает соотношение 3 000 сканов на один реферальный переход, у вас — 35 000 : 1; CAPTCHA‑разрешение лишь 0,24 %; в неделю сервер обслуживает 2,5 млн запросов, но аналитика фиксирует лишь 5 977 реальных просмотров, то есть 214 бота на каждый человеческий запрос. Эти факты раскрывают, насколько обычные инструменты (Plausible, Google Analytics) недооценивают реальный объём автоматизированного трафика.