Anthropic reported diary entry to police, woman faces felony charge
Жительница Флориды использовала чат-бота Claude в качестве личного дневника, записывая в него мысли и планы, включая детали предполагаемого насилия. Одна из записей содержала упоминание о намерении совершить стрельбу в общественном месте, что вызвало тревогу у системы модерации Anthropic. Компания, следуя своим правилам безопасности и обязательствам по предотвращению вреда, передала соответствующую запись в правоохранительные органы. После этого женщина была задержана и предъявлено обвинение в совершении преступления, связанного с планированием насилия. Случай подчеркивает, как ИИ-ассистенты могут непреднамеренно становиться частью цепочки событий, ведущей к реальным последствиям, особенно когда пользователи делятся опасными намерениями в диалогах с моделями. Anthropic подтвердила, что действовала в рамках своей политики использования, направленной на предотвращение насилия и защиту общественной безопасности. Инцидент также поднял вопросы о границах конфиденциальности при взаимодействии с ИИ и ответственности разработчиков за мониторинг контента. Хотя Claude не предназначен для хранения личных данных вроде дневника, его использование в таких целях может привести к непредвиденным выводам системы безопасности. Случай стал примером того, как эческие safeguards в ИИ могут срабатывать в реальных ситуациях, даже когда пользователь не ожидал такого вмешательства. Это также подчеркивает важность осознанного использования ИИ-инструментов и понимания их ограничений в вопросах приватности и безопасности.