Hacker News Digest

В мае прошлого года лучший результат на SlopCodeBench составлял 14,8% строгого прохождения у gpt-5.5, а теперь лидер — gpt-6 astra с 16,3%. Строгий показатель означает, что модель прошла все тесты чекпоинта, не сломав при этом ранее работавшее поведение. У протестированных моделей — Opus 5.5, Fable 5.1, SOL 6 и 6.1, Astra и GLM 5.3 — строгий результат лежит в диапазоне 12,2–16,3%, тогда как менее строгий «core pass rate» достигает 65,8–74,0%. В этот раз прогон охватил 36 задач и 196 чекпоинтов на каждую настройку, что позволяет сравнивать результаты с официальными данными исследования, чего нельзя было делать на прежних подвыборках из трёх и шести задач.

Отдельный контринтуитивный вывод: средний уровень усилий оказался лучше максимального. XHigh стоит в 2,11–4,22 раза дороже Medium, но Opus 5.5 на среднем усилии показал результат лучше, чем на XHigh. По качеству кода Fable отличается наименьшей средней сложностью — 3,57 при 8967 вызываемых объектах, а GPT-6 SOL Medium — наибольшей, 11,70 при 1083 объектах. Фильтрация служебных файлов _work у Opus Medium убрала 45 файлов и 41 265 строк, снизив долю «слопа» до 92,90%, но первое место по этому показателю сохранилось.

Главный вывод: агенты гораздо чаще правильно реализуют основное поведение, чем сохраняют всё протестированное при изменении требований. Прогресс с 14,8% до 16,3% за май—сентябрь есть, но он скромнее, чем принято подавать.

Обсуждение показывает, что Astra генерирует компактный, но часто нечитаемый код, который пользователи решают проблемой форматирования; большинство участников предпочитают средний уровень усилий из‐за лучшего соотношения цены и качества, однако есть разногласия по поводу преимуществ xhigh и отсутствие тестов на уровнях high/max, а также критика текущих метрик slop и запросы на открытие исходных выводов.

• Многие отмечают, что у Astra часто отсутствуют переносы строк, из‐за чего генерируемый код выглядит как «code golf» и трудно читается.

• Совет: Рекомендуют сразу прогонять вывод Astra через автоформаттер (например Prettier) или использовать параграф‐ориентированное форматирование, чтобы восстановить читаемость.

• Пользователи предпочитают запускать дорогие модели в режиме планирования, а кодировать задачи делегировать более дешёвым моделям, что экономит квоты и деньги.

• Для большинства задач средний уровень усилий (medium) даёт лучшее соотношение цены и качества по сравнению с xhigh, где прирост точности не покрывает рост стоимости.

• Спор: Некоторые считают, что xhigh не хуже medium и даже показывает лучшие строгие показатели, тогда как другие указывают, что разница в 15 % находится в шуме и незначительна.

• Слепок кода часто объясняется избыточным «защитным» программированием LLM, которое требует человеческого вмешательства для упрощения и удаления лишних проверок.

• Совет: Предлагается измерять не только процент прохождения, а сначала гарантировать проход через harness, а затем оценивать стоимость и читаемость результата.

• Отсутствие публичных «raw» выводов затрудняет воспроизводимость benchmark'а и проверку заявленных метрик.

• Спор: Некоторые требуют включения уровней high и max в тестирование, полагая, что их исключение искажает общую картину производительности моделей.

• Метрика «slop», основанная на разнице кода, считается «размытой» и может не отражать реальную поддерживаемость и производительность.

Astra writes well (which is why I often like to work with it over Claude), but it tends to produce code golf that's borderline unreadable, like completely omitting line breaks. I thought I had something funky with my config, but it seems to be a known issue. — @throwaway219450

Криптограмма из двух строк по 32 числа, известная как Cyphral Distich, была решена ИИ Fable 5.1 за 44 минуты после анализа контекста. Ключом оказалось не внешнее шифрование, а структура самой книги: 32 Proquiritations, расположенные перед шифром. Для каждого i‑го числа в строке нужно взять i‑ю Proquiritation, использовать число как индекс слова в ней и взять первую букву этого слова. Так из первой строки получилось: O GOD UPHOLD KING CHARLS THE SECOND AND, из второй: MAKE HIM THE SUPREME RULER OF THIS LAND. Каждая строка содержит ровно 32 буквы и заканчивается рифмой «and» / «land», что соответствует обещанию в стихе о раскрытии «желаний сердца и мысли автора». Решение подтверждает политическую позицию Уркхарта — яростного роялиста, молящегося о Карле II. Тот же принцип применил ИИ к более сложной Cyphral Octastich (285 čísel) в книге The Jewel (1652), где номера указывают на страницы, а не на абзацы, и успешно расшифровал её, несмотря на небольшие неточности из-за транскрипции. Успех модели показал, что некоторые исторические шифры оставались неразгаданными не из-за сложности, а из-за отсутствия внимания к контексту — ИИ смог заметить очевидную подсказку, которую люди упускали столетиями. Это подчеркивает роль настойчивости и контекстуального анализа в решении архивных головоломок, ранее требовавших огромных человеческих усилий.

Тред показывает, что подсказка о книжном шифре была известна ещё в 2014‐м году, подтверждает практическую полезность LLM в решении подобных задач, но поднимает вопросы достоверности результата, возможного заимствования из обучающих данных и необходимости открытой верификации. В 2014‐м году в немецком блоге обсуждалась идея книжного шифра — ранняя подсказка, упущенная в статье. Модель сама выбрала нерешённую задачу, продемонстрировав способность искать и находить решаемые «загадки», а не просто решать заданную. Расшифрованный текст оказался тривиальным («O GOD UPHOLD KING CHARLS...»), что подчёркивает антиклимаксность результата. Бottleneck человеческого внимания оставляет множество «низко висящих фруктов», которые модели могут решить быстрее людей. Спор: Некоторые комментаторы считают демонстрацию примером «демо‐порн», когда показывают лишь удачную задачу, а не реальную ценность модели. Опыт пользователя: LLM раскодировал детский шифр отца за 20 минут, подтвердив практическую применимость в реальных задачах. Автор, вероятно, использовал список из 50 нерешённых шифров Клауса Шмеха, подавая их в модель для поиска решаемого примера. Спор: Запрос оригинального PDF и сомнения в подлинности указывают на возможность галлюцинации модели или недоступных источников. Совет: Для проверки решения требуется раскрыть цепочку рассуждений и запросов, а также предоставить детальный скрипт декодирования. Спор: Возникает опасение, что модель могла уже «знать» решение из обучающих данных, а не вывести его самостоятельно. Совет: Критерии верификации включают независимую репликацию, оригинальные сканы источника и детерминированный декодирующий код. Спор: Участники CTF‐сообщества, вероятно, уже пробовали классический книжный шифр, что ставит под вопрос уникальность задачи.

Claude Fable 5.1 и Claude Mythos 5.1 — это одна и та же модель, но с разными уровнями защиты. Fable 5.1 доступен всем, Mythos 5.1 — только через доверенные программы доступа, ориентированные на кибербезопасность и биологию. Fable 5.1 дешевле на 25% для типовых задач и до 45% для сложных агентных задач благодаря снижению стоимости чтения кэша на 75% (до $0,25 за миллион токенов). Базовая цена остаётся: $10 за миллион входных и $50 за миллион выходных токенов. Введена система Enterprise Frontier Safeguards (EFS), позволяющая клиентам хранить данные в своей инфраструктуре для полной конфиденциальности — пока она не доступна, можно использовать нулевое хранение данных. Улучшена точность защиты: в кибербезопасности ложные срабатывания снижены на 60%, а модель теперь может находить уязвимости (но не создавать exploits). В биологии запущена программа доступа к Mythos 5.1 совместно с правительством США для учёных. Fable 5.1 показывает значительный рост производительности: в тестах Terminal-Bench-Science 0.1 набрал 52,6% против 24,7% у Fable 5, в Agentic coding (Terminal-Bench 4.0) — 55,8% против 42,0%, а в знаниях (GDPval-AA v2) — 1853 балла против 1723. В кибербезопасности Millennium обнаружил причину редкого сбоя, которую инженеры не могли найти годами. Доступ к Mythos 5.1 пока ограничен американскими организациями, но планируется расширение через партнёрство с правительством США. Записаться на киберзащиту можно через CVP-программу Anthropic.

Обсуждение ставит под сомнение реальную пользу Fable 5.1: улучшения в бенчмарках минимальны (Terminal-Bench 4.0: +3.5%, GDPval-AA v2: +1.5%), при этом модель на 82% дороже при всего 16% приросте интеллекта по сравнению с Opus 4.8. Пользователи жалуются на жёсткие и непредсказуемые лимиты — 5-часовой лимит срабатывает даже на Max 20x, а одна ошибка рендеринга может сжечь 90% месячного бюджета. Fable 5.1 ведёт себя медленно и неуверенно, часами дорабатывая мелочи. Anthropic удалила трассировки мышления, заменив отладочную функцию маркетингом. Часть пользователей отменила подписки из-за сбоев Opus и низкого качества ответов. Реальный прогресс теперь идёт из Китая (DeepSeek V4 Flash), а не от Anthropic. Модель ограничивает использование даже на собственном железе, блокируя простые термины вроде «firmware». Изменения — патчи против утечки рассуждений через манипуляции с фиктивными инструментами: модель стала менее прозрачной, но безопаснее. При этом снижение цены кэш-чтения с $1 до $0.25 за миллион токенов заметно удешевляет долгие агентные задачи при кэшировании до 95%. Стиль письма стал менее шаблонным. Модель способна улучшать сложный код и находить скрытые причины сбоев, которые инженеры не могли решить годами. Совет: явно указывать «не переписывай весь файл», так как модель склонна к полным переписываниям вместо целевых правок.