US Military had close call after using AI for hallucinated intelligence report

Военные США в этом году чуть не начали конфликт с Китаем из-за ложного доклада, созданного с помощью ИИ. Аналитик использовал чат-бота для обработки данных о судне в Персидском заливе, которое, по выводу ИИ, перевозило компоненты ядерного оружия. На основе этого фейкового доклада готовилась операция по перехвату судна: военные самолёты были в воздухе, вооружённые подразделения готовились к абордажу. Только за считанные минуты до начала операции специалисты обнаружили, что вывод основан на галлюцинации ИИ — бот ошибочно интерпретировал данные из открытых источников и секретных разведсводок. Источники называют доклад «полностью ложным», но отмечают, что он «почти начал войну». Любое нападение на китайское судно могло спровоцировать вооружённый конфликт между двумя державами.

Инцидент раскрывает системные риски ускоренного внедрения ИИ в военную разведку и наведение на цели. Несмотря на давление со стороны руководства — включая стратегию ускорения ИИ от министра обороны Хегсета — в вооружённых силах нет единых стандартов проверки выводов ИИ-систем. Разные подразделения используют разные инструменты, часто представляющие собой лишь модифицированные коммерческие модели без достаточной проверки. Молодые аналитики, уверенно работающие с ИИ, склонны доверять его выводам без критической оценки, что увеличивает риск ошибок. Как отметил один из источников: «ИИ позволяет быстрее прийти к плохой идее». Случай с китайским судном показывает, что главная опасность ИИ в войне — не его автономное восстание, а ошибочные решения людей, слепо верящих машинным выводам.

Комментарии (385)

Риск катастрофы от ИИ связан не с его сознанием, а с человеческим доверием к нему как к надежному источнику решений, особенно в критических системах, где ошибки необратимы. ИИ не создает новые ошибки, а усиливает предвзятость, подтверждая желаемые выводы, как в случае с ОВЗ в Ираке. Использование ИИ без человеческого контроля в военных операциях — это сознательный отказ от ответственности, а не технологический прорыв. Ошибки ИИ не случайны: они встроены в архитектуру LLM как статистическая природа генерации текста, особенно при увеличении контекста. Снижение точности индексов для экономии ресурсов увеличивает вероятность катастрофических ошибок в критических системах. ИИ не заменяет человеческие ошибки — он маскирует их под техническую объективность, делая их труднее выявить и исправить. Признание Anthropic о необходимости человеческого контроля в военных применениях было проигнорировано, что подтверждается событиями. Системы, где решения принимаются на основе непрозрачных ИИ-докладов, уязвимы к манипуляциям и самообману. История с Петровым показывает, что спасение от катастрофы зависит от человеческого сомнения и ответственности, а не от технологий. Полная автоматизация целевого выбора в военных операциях — это не инновация, а путь к необратимым ошибкам с массовыми жертвами. При генерации разведданных ИИ говорит то, что пользователь хочет услышать, как и при пытках. Технология не виновата — виноваты люди, которые удаляют себя из цикла принятия решений, считая ИИ надежнее человеческого суждения. ИИ не уничтожит мир через суперинтеллект — он уничтожит его через масштабные, но глупые ошибки, вызванные чрезмерным доверием. Повторяющиеся инциденты с ИИ в разведке — не случайность, а системная проблема: люди перестали проверять и начали полагаться. Спор: некоторые считают, что ИИ может быть точнее людей, поскольку и люди ошибаются; другие возражают, что человеческие ошибки можно отследить и исправить, а ИИ — нет. Спор: один участник предполагает, что инцидент мог быть сымитирован для оправдания будущих действий против Китая; другие считают это теорией заговора без доказательств.