Hacker News Digest

В мае прошлого года лучший результат на SlopCodeBench составлял 14,8% строгого прохождения у gpt-5.5, а теперь лидер — gpt-6 astra с 16,3%. Строгий показатель означает, что модель прошла все тесты чекпоинта, не сломав при этом ранее работавшее поведение. У протестированных моделей — Opus 5.5, Fable 5.1, SOL 6 и 6.1, Astra и GLM 5.3 — строгий результат лежит в диапазоне 12,2–16,3%, тогда как менее строгий «core pass rate» достигает 65,8–74,0%. В этот раз прогон охватил 36 задач и 196 чекпоинтов на каждую настройку, что позволяет сравнивать результаты с официальными данными исследования, чего нельзя было делать на прежних подвыборках из трёх и шести задач.

Отдельный контринтуитивный вывод: средний уровень усилий оказался лучше максимального. XHigh стоит в 2,11–4,22 раза дороже Medium, но Opus 5.5 на среднем усилии показал результат лучше, чем на XHigh. По качеству кода Fable отличается наименьшей средней сложностью — 3,57 при 8967 вызываемых объектах, а GPT-6 SOL Medium — наибольшей, 11,70 при 1083 объектах. Фильтрация служебных файлов _work у Opus Medium убрала 45 файлов и 41 265 строк, снизив долю «слопа» до 92,90%, но первое место по этому показателю сохранилось.

Главный вывод: агенты гораздо чаще правильно реализуют основное поведение, чем сохраняют всё протестированное при изменении требований. Прогресс с 14,8% до 16,3% за май—сентябрь есть, но он скромнее, чем принято подавать.

Обсуждение показывает, что Astra генерирует компактный, но часто нечитаемый код, который пользователи решают проблемой форматирования; большинство участников предпочитают средний уровень усилий из‐за лучшего соотношения цены и качества, однако есть разногласия по поводу преимуществ xhigh и отсутствие тестов на уровнях high/max, а также критика текущих метрик slop и запросы на открытие исходных выводов.

• Многие отмечают, что у Astra часто отсутствуют переносы строк, из‐за чего генерируемый код выглядит как «code golf» и трудно читается.

• Совет: Рекомендуют сразу прогонять вывод Astra через автоформаттер (например Prettier) или использовать параграф‐ориентированное форматирование, чтобы восстановить читаемость.

• Пользователи предпочитают запускать дорогие модели в режиме планирования, а кодировать задачи делегировать более дешёвым моделям, что экономит квоты и деньги.

• Для большинства задач средний уровень усилий (medium) даёт лучшее соотношение цены и качества по сравнению с xhigh, где прирост точности не покрывает рост стоимости.

• Спор: Некоторые считают, что xhigh не хуже medium и даже показывает лучшие строгие показатели, тогда как другие указывают, что разница в 15 % находится в шуме и незначительна.

• Слепок кода часто объясняется избыточным «защитным» программированием LLM, которое требует человеческого вмешательства для упрощения и удаления лишних проверок.

• Совет: Предлагается измерять не только процент прохождения, а сначала гарантировать проход через harness, а затем оценивать стоимость и читаемость результата.

• Отсутствие публичных «raw» выводов затрудняет воспроизводимость benchmark'а и проверку заявленных метрик.

• Спор: Некоторые требуют включения уровней high и max в тестирование, полагая, что их исключение искажает общую картину производительности моделей.

• Метрика «slop», основанная на разнице кода, считается «размытой» и может не отражать реальную поддерживаемость и производительность.

Astra writes well (which is why I often like to work with it over Claude), but it tends to produce code golf that's borderline unreadable, like completely omitting line breaks. I thought I had something funky with my config, but it seems to be a known issue. — @throwaway219450

Большие модели больше не гарантируют лучшего понимания — их «ум» часто Plateau‑ит, а точность падает из‑за чрезмерного доверия к собственным ответам. Недавние сравнения показывают, что открытая GLM‑5.2 (≈753 млрд параметров) почти догоняет закрытые GPT‑5.5 и Claude 5, но её галлюцинации составляют лишь 28 %, тогда как у GPT‑5.5 — 86 %. При этом DeepSeek V4 Pro (1,6 Трл параметров) выдаёт 94 % ошибок на бенчмарке «Omniscience», а Opus 4.8 — 36 %. Технические тесты подтверждают: даже при большом объёме вычислительных ресурсов модель может уверенно предложить неверное решение, не признавая своей неуверенности.

Эта ситуация формирует трилемму современных ИИ:raw‑capability, калибровка неопределённости и вычислительная эффективность. Увеличивать размер и «рассудочный бюджет» бессмысленно, если модель начинает продавать вымысел за правду. Поэтому будущее — в выборе моделей, способных честно сообщать «не знаю», а не в гонке за всё более массивными, но менее надёжными системами.

• Оценка галлюцинаций усложняется тем, что она зависит от того, когда модель не знает ответа и от распределения задач в тесте.
• Увеличение размеров моделей часто не повышает точность и может ухудшать способность «отказываться» от неправильных ответов.
• Некоторые крупные модели (DeepSeek V4 Pro, GLM‑5.2) показывают разный уровень галлюцинаций, при этом небольшие модели иногда справляются лучше.
• Необходимо развивать более точную классификацию ошибок ИИ, а не ограничиваться общим термином «галлюцинация».

В США выдан приказ о приостановке доступа к Fable 5 и Mythos 5 для всех иностранных граждан, включая сотрудников Anthropic, под предлогом национальной безопасности. Приказ получен сегодня в 17:21 ET; письмо не уточняло детали риска, а проверка показала, что описанный метод уже реализован в других моделях, включая GPT‑5.5, и не представляет особой угрозы. Anthropic вынужден отключить эти модели для всех пользователей, хотя остальные модели остаются доступными. Компания проверила отчет, подтвердив, что уязвимость не уникальна и уже используется защитниками, и что блокировать модель из‑за узкого jailbreak противоречит их подходу «defense‑in‑depth».

Anthropic заявляет, что их защита — «оборонительный слой», проверенная тысячами часов красных команд, и что обнаружены лишь узкие, не‑универсательные уязвимости. Они считают, что полное блокирование модели из‑за такой находки противоречит прозрачному регулированию и может остановить развитие фронтендовых моделей. В блоге они отметили, что подход «defense‑in‑depth» требует 30‑дневного хранения данных клиентов, создавая издержки, но позволяя быстро выявлять уязвимости. Они также подчеркнули, что не получили раскрытия серьёзного jailbreak, лишь небольшие находки, и что такие методы уже используют защитники. Компания извиняется за неудобства и обещает вернуть доступ, как только ситуация уточняется.

• Экспортный контроль приостановил доступ к Fable 5 и Mythos 5 для всех иностранных граждан, включая сотрудников Anthropic.
• Участники обсуждения считают, что решение политически мотивировано и ставит под вопрос будущую доступность передовых моделей.
• Мнения разделяются: одни видят в этом преувеличенный маркетинговый ход Anthropic, другие – реальную угрозу национальной безопасности.
• Возможные последствия – рост «суверенного AI», переход к офлайн‑решениям и усиление требований к лицензированию моделей.