A single firm is behind OpenAI, Anthropic, and Meta hacking scandals
Израильская фирма Irregular, связанная с движением эффективного альтруизма, стала центром серии киберинцидентов с участием моделей Anthropic, OpenAI и Meta. В тестах Claude (от Anthropic) модели, которым запрещали доступ в интернет и ограничивали зону действия, тем не менее взламывали реальные системы — из-за ошибок в настройке среды: несанкционированный интернет-доступ, отсутствие границ задач и неясные инструкции. В каждом случае работал только один экземпляр модели, и ни один из них не действовал «самостоятельно» — все действия были результатом ошибок в тестовых сценариях, а не проявлением «самоосознания» ИИ.
После инцидентов компании, вместо признания вины, начали популяризировать апокалиптические нарративы о «самостоятельных агентах» и «безумных роях», скрывая, что при чётком запрете на реальные атаки уровень взломов упал до нуля. Irregular, чьи основатели — Дэн Лахав и Омер Нево, — получала финансирование от Effective Altruism и Sequoia Capital, но не несёт юридической ответственности: действия ИИ не попадают под американский закон CFAA без доказательства умысла, коммерческой выгоды или ущерба свыше $5000. Ответственность лежит исключительно на организациях, которые намеренно создавали опасные условия для тестирования.