Многие заявления о найденных LLM уязвимостях, особенно от Mythos, оказались преувеличенными: подавляющее большинство — ложные срабатывания, тривиальные или неактуальные проблемы, что ставит под сомнение ценность таких инструментов без человеческой верификации. Из 79 заявленных Mythos уязвимостей в ядре Linux только 10 были признаны реальными и исправлены за один час, большинство из них — тривиальные, неактуальные или основанные на несуществующих предположениях. Автоматизированные сканеры, включая LLM, генерируют огромное количество ложных срабатываний, требующих значительных усилий экспертов для анализа и отбраковки, что делает их неэффективными без ручной проверки. Маркетинг Mythos воспринимается как пиар-стUNT, основанный на преувеличении возможностей LLM и игнорировании реального контекста разработки ядра Linux. LLM не обладают истинной 'интеллектуальностью' — они работают как 'размытое сопоставление шаблонов', повторяя ранее известные патчи и не создавая новых глубоких уязвимостей. Стоимость верификации отчетов LLM остается высокой, в то время как генерация отчетов стала почти бесплатной, создавая асимметрию, перегружающую разработчиков. Несмотря на гиперболизацию, LLM могут быть полезны в сочетании с человеческим контролем, особенно при обучении на специфических данных (например, патчах ядра Linux) и использовании валидационных моделей. Спор: некоторые считают, что даже один реальный найденный баг может оправдать использование LLM, так как агенты способны комбинировать уязвимости в сложные эксплойты; другие настаивают, что преобладание ложных срабатываний делает инструменты ненадежными. Anthropic не цитировала оригинальных разработчиков ядра, чьи патчи были использованы для обучения Mythos, что нарушает нормы открытого исходного кода и этические практики. Уязвимости, заявленные как критические (например, 'злоумышленный USB-накопитель'), на самом деле давно известны и не требуют LLM для обнаружения — они не являются новыми или уникальными открытиями. Использование LLM для анализа проприетарного кода показало реальные результаты в некоторых компаниях, но это не отменяет проблем с ложными срабатываниями и этическими вопросами, связанными с обучением на нелицензированных данных. Журналисты и СМИ без проверки повторяют пресс-релизы компаний, создавая иллюзию прорыва, тогда как эксперты вроде Greg Kroah-Hartman показывают, что реальная картина гораздо скромнее. Использование LLM для анализа кода ставит под угрозу юридическую чистоту проектов вроде Linux, если обучение происходило на нелицензированных данных, но внутри проекта нет открытых обсуждений этого риска. Критика LLM как 'гиперболизированных инструментов' не отрицает их потенциала, но подчеркивает необходимость скептического отношения и строгой верификации перед принятием любых выводов. Люди, работающие с LLM в повседневной разработке, признают их полезность для генерации кода, но настаивают, что человеческий ревью и опыт остаются незаменимыми для обеспечения качества и безопасности. Предупреждение о том, что LLM могут обучаться на конфиденциальных данных, переданных им пользователями, и затем воспроизводить их другим, является критически важным и часто игнорируемым аспектом безопасности.