I posted to HN, and then my website was flooded with AI bot traffic
Публикация проекта на Hacker News привела к неожиданному последствию: сайт начал испытывать резкое замедление, причём не сразу, а через несколько дней после публикации. Автор, разрабатывающий «sprinklz.io» — настраиваемый агрегатор новостей с функцией понижения приоритета определённых тем, — изначально списал это на возросшее внимание аудитории. Однако логи показали, что подавляющее большинство запросов даже не пыталось загружать статьи: это был трафик от ИИ-ботов, которые обходили конечные точки, не свойственные обычным пользователям.
Яркий факт: пост набрал около сотни голосов, и пользователи особенно оценили возможность скрывать из ленты материалы про большие языковые модели. Но именно эта популярность обнажила проблему — сайт, построенный как одностраничное приложение, столкнулся с нагрузкой, не связанной с реальной активностью. Автор отметил, что при горстке живых авторизованных пользователей сервер демонстрировал непомерно высокую загрузку. Это заставило его добавить журналирование на уровне всех конечных точек, чтобы выявить источник аномалии.