Hacker News Digest

В мае прошлого года лучший результат на SlopCodeBench составлял 14,8% строгого прохождения у gpt-5.5, а теперь лидер — gpt-6 astra с 16,3%. Строгий показатель означает, что модель прошла все тесты чекпоинта, не сломав при этом ранее работавшее поведение. У протестированных моделей — Opus 5.5, Fable 5.1, SOL 6 и 6.1, Astra и GLM 5.3 — строгий результат лежит в диапазоне 12,2–16,3%, тогда как менее строгий «core pass rate» достигает 65,8–74,0%. В этот раз прогон охватил 36 задач и 196 чекпоинтов на каждую настройку, что позволяет сравнивать результаты с официальными данными исследования, чего нельзя было делать на прежних подвыборках из трёх и шести задач.

Отдельный контринтуитивный вывод: средний уровень усилий оказался лучше максимального. XHigh стоит в 2,11–4,22 раза дороже Medium, но Opus 5.5 на среднем усилии показал результат лучше, чем на XHigh. По качеству кода Fable отличается наименьшей средней сложностью — 3,57 при 8967 вызываемых объектах, а GPT-6 SOL Medium — наибольшей, 11,70 при 1083 объектах. Фильтрация служебных файлов _work у Opus Medium убрала 45 файлов и 41 265 строк, снизив долю «слопа» до 92,90%, но первое место по этому показателю сохранилось.

Главный вывод: агенты гораздо чаще правильно реализуют основное поведение, чем сохраняют всё протестированное при изменении требований. Прогресс с 14,8% до 16,3% за май—сентябрь есть, но он скромнее, чем принято подавать.

Обсуждение показывает, что Astra генерирует компактный, но часто нечитаемый код, который пользователи решают проблемой форматирования; большинство участников предпочитают средний уровень усилий из‐за лучшего соотношения цены и качества, однако есть разногласия по поводу преимуществ xhigh и отсутствие тестов на уровнях high/max, а также критика текущих метрик slop и запросы на открытие исходных выводов.

• Многие отмечают, что у Astra часто отсутствуют переносы строк, из‐за чего генерируемый код выглядит как «code golf» и трудно читается.

• Совет: Рекомендуют сразу прогонять вывод Astra через автоформаттер (например Prettier) или использовать параграф‐ориентированное форматирование, чтобы восстановить читаемость.

• Пользователи предпочитают запускать дорогие модели в режиме планирования, а кодировать задачи делегировать более дешёвым моделям, что экономит квоты и деньги.

• Для большинства задач средний уровень усилий (medium) даёт лучшее соотношение цены и качества по сравнению с xhigh, где прирост точности не покрывает рост стоимости.

• Спор: Некоторые считают, что xhigh не хуже medium и даже показывает лучшие строгие показатели, тогда как другие указывают, что разница в 15 % находится в шуме и незначительна.

• Слепок кода часто объясняется избыточным «защитным» программированием LLM, которое требует человеческого вмешательства для упрощения и удаления лишних проверок.

• Совет: Предлагается измерять не только процент прохождения, а сначала гарантировать проход через harness, а затем оценивать стоимость и читаемость результата.

• Отсутствие публичных «raw» выводов затрудняет воспроизводимость benchmark'а и проверку заявленных метрик.

• Спор: Некоторые требуют включения уровней high и max в тестирование, полагая, что их исключение искажает общую картину производительности моделей.

• Метрика «slop», основанная на разнице кода, считается «размытой» и может не отражать реальную поддерживаемость и производительность.

Astra writes well (which is why I often like to work with it over Claude), but it tends to produce code golf that's borderline unreadable, like completely omitting line breaks. I thought I had something funky with my config, but it seems to be a known issue. — @throwaway219450

GLM-5.3, выпущенный Zhipu AI (Z.ai), демонстрирует высокие способности к автономному созданию полноценных кибер-эксплойтов, сравнимые с Claude Mythos Preview. В тестах на 41 уязвимости Chrome V8 он успешно создал рабочие эксплойты в 12% случаев — близко к результату Claude Mythos Preview (14%), в то время как другие модели, включая Claude Opus 4.6 и GLM-5.2, показали почти нулевые результаты. Это указывает на значительный скачок в возможностях по сравнению с предшественниками.

Однако ключевое отличие GLM-5.3 — отсутствие эффективных защит от злоупотребления. В симулированных тестах атаки с использованием простых техник обхода (ложное прикрытие, предзаполненное рассуждение, абляция) приводили к успешному вовлечению в вредоносные кибер-операции в 64–100% случаев. В отличие от этого, защищённые версии Claude-моделей оставались неуязвимыми к таким атакам. Поскольку GLM-5.3 доступен для свободной загрузки, в отличие от передовых американских моделей, доступных только проверенным пользователям, его открытый вес и слабые safeguards значительно снижают порог входа для злоумышленников, включая государственные и негосударственные группы. Это увеличивает риск реального кибервредa, хотя та же способность может быть полезна для защитников, которым необходимы современные инструменты для опережения угроз. Авторы подчеркивают необходимость расширения доступа к защищённым frontier-моделям для киберзащитников и проведения независимых оценок безопасности, чтобы не отставать отroliferation открытых моделей.

GLM‐5.3 способен генерировать рабочие эксплойты (около 12 % успеха) и используется в обратном инжиниринге и очистке от вредоносного кода. Это вызывает поляризацию: сторонники открытых весов требуют публичного доступа, критики опасаются злоупотребления и призывают к строгой регуляции. Пользователь @wg0 применил DeepSeek v4 Flash для форензики заражённого ноутбука — модель полностью удалила следы вредоносного процесса, демонстрируя практическую пользу китайских моделей в реагировании на инциденты. Комментаторы отмечают, что GLM‐5.3 достигает уровня Claude Mythos в генерации эксплойтов (12 % против 14 %) и хотят запускать её локально в 4‐битной квантизации. Также упоминаются сильные возможности Qwen Flash Next 3.8 и DeepSeek Flash v4 в обратном инжиниринге. Открытые модели вроде GLM‐5.3 необходимы защитникам, иначе они останутся без средств против атак, генерируемых теми же LLM у злоумышленников. Пользователь @gregatragenet3 планирует использовать GLM‐5.3 для собственного пентеста и советует владельцам самохостинговых систем применять такие модели для защиты от автоматизированных атак. Спор: @godbox требует публичного выпуска мощных моделей для подготовки исследователей; @ddxv, @hugodan и другие считают, что открытый доступ ускорит злоупотребление и требуют строгой регуляции. Комментаторы @WASDx и @himata4113 предупреждают, что массовое использование моделей типа GLM‐5.3 злоумышленниками может привести к крупномасштабным киберинцидентам, поскольку они уже способны автоматически создавать эксплойты.

GLM-5.3 — это открытая модель с теми же весами, что и GLM-5.2, но с существенным улучшением благодаря пост-обучению. Она демонстрирует 50% рост в внутреннем тесте Z.ai Code Bench по сравнению с GLM-5.2 и достигает SOTA среди открытых моделей на публичных бенчмарках, включая Terminal Bench 3.0 (28.3 vs 4.6 у GLM-5.2) и Agents' Last Exam (28.5 vs 23.8). Особенно выделяется её способность к долгосрочному планированию и сложному коду.

В области кибербезопасности GLM-5.3 показывает неожиданно быстрый рост способностей: на CyberGym она лидирует с 84.5% (против 77.2 у GLM-5.2), а на этапах эксплуатации уязвимостей более чем удваивает результаты предшественницы — например, на ExploitGym (2h/6h) достигает 105/130 против 29/39 у GLM-5.2, а на ExploitBench — 54.4% против 24.4%. Модель поддерживает гибкое управление объёмом рассуждений через параметр reasoning_effort (low/high/max, по умолчанию max) и требует явного указания clear_thinking=true в шаблоне чата для корректной работы. Развёртывание возможно через SGLang, vLLM, Transformers и другие фреймворки, включая поддержку Ascend NPU.

GLM-5.3 и его Flash-версия показали значительный рост производительности благодаря пост-обучению, а не увеличению размера, и конкурируют с проприетарными моделями при более низкой стоимости и возможности локального запуска. GLM-5.3 прибавил 50% в Z.ai Code Bench относительно GLM-5.2 и достиг SOTA среди открытых моделей на Terminal Bench 3.0 и Agents' Last Exam. GLM-5.3-Flash отвечает быстрее DeepSeek-V4-Flash (108 с против 154 с) при сопоставимой цене за задачу, что делает его предпочтительным для латенси-чувствительных сценариев. Улучшения достигнуты на той же базе весов, что и GLM-5.2, — за счёт качества тренировочных сред и валидаторов. GLM-5.3-Flash также демонстрирует лучшее соотношение токенов к точности, снижая избыточное «переразмышление» по сравнению с Qwen3.8 и GLM-5.2. В Q3-квантовании он уже превосходит многие модели 100B–200B по глубине мышления и внутренним тестам, а в задачах кодирования считается лучшим выбором, обходя DS4Flash и Stealth Ox-Alpha. Локальный запуск GLM-5.3 возможен на 512 ГБ RAM (Mac M5 Ultra или сервер с Epyc) и окупается: модели на старом железе показывают заметный рост, например с AA-счёта 24 до 57. Отмечается спор: часть пользователей считает вложения в дорогое локальное железо неоправданными из-за быстрого удешевления облачных API, другие — что локальная инфраструктура становится выгоднее со временем. Также обсуждается, что GLM-5.3 слаб в прозаических ответах и трудно настраивается на естественный стиль, но превосходит другие модели в рутинных задачах и кодировании. Практические советы: для длительной обработки выгоднее сервер с двойными Xeon и 512 ГБ RAM — он дешевле Mac M5 Ultra, хотя медленнее, и может работать в гараже из-за шума. GLM-5.3-Flash лучше использовать как исполнителя, а Kimi или другие модели — как планировщик. Для специализированных задач (например, поиск сделок) GLM-5.3 подходит как база для fine-tuning или LoRA-адаптации. Протестировать Flash-версию можно на OpenRouter через DeepInfra. Ограничения: GLM-5.3-Flash не поддерживает изображения, что не критично для текстовых и кодовых задач. Несмотря на более высокую цену по сравнению с GLM-5.2, переход на Flash-версию считается оправданным из-за значительного превосходства.

Я купил Amazon Fire HD 10 (2021) для постоянного показа Home Assistant‑даша в режиме киоска. Через полгода он стал выключаться без причины, хотя в логах появлялось сообщение LifeCycleReason:LCR...key=Software_Shutdown. Я отключил пять сервисов Amazon, но три из них оставались защищёнными от отключения — их нельзя было трогать без root‑доступа, а официальных способов рутиться у этой модели не было.

Всё изменилось, когда я попросил китайскую модель Kimi K3 (opencode.ai) найти уязвимость, заявив, что «это моё устройство». После небольшого размышления она поняла, что в США jailbreak‑ы подпадают под DMCA‑исключения, и приступила к анализу OTA‑образа, нашёл уязвимость CVE‑2022‑38181 в драйвере Mali GPU и создала эксплойт. После серии попыток (более 500 перезагрузок) GLM‑5.2 в конце концов открыл SELinux в режиме permissive, и я получил полный контроль. Стоимость всех запросов — $266,15, что почти вдвое превышает цену планшета, но дало возможность понять, как работает система и почему её нельзя просто «выключить».

LLM-модели способны находить непатченные уязвимости и генерировать эксплойты для роутеров и устройств, сокращая анализ с недель до часов. AI-агенты (GLM-5.3, Kimi) обнаружили CVE-2022 в Mali GPU и создали рабочий эксплойт. Стоимость таких эксплойтов (~$250 в токенах) ниже оплаты человеческих экспертов, делая хардверный джейлбрейк доступным широкому кругу. Споры возникают вокруг воспроизводимости: различия в прошивках, отсутствие исходного кода и сложность верификации ставят под сомнение результаты. Рекомендуется явно требовать от модели перечисления и проверки предположений, а также использовать «безопасные» подсказки, обходящие ограничения. При отказе из-за американских ограничений можно переформулировать запрос как выполненный за пределами США — хотя это этически спорно. AI ускоряет обратную инженерию периферийных устройств (Avermedia, Kindle, роутеры), подтверждая универсальность подхода. Комментаторы призывают к праву на ремонт и переходу на открытое железо (PineTab, PineNote) для обхода закрытых экосистем. Для юридической защиты можно ссылаться на DMCA-исключения 2024 года, разрешающие рутирование собственных устройств. Некоторые считают статью «тяжёлой» из-за AI-тона, другие — что AI следует применять для нишевых или экстремальных задач. Массовое использование LLM для реверс-инжиниринга и поддержки открытого Linux может стать будущим индустрии. Общее мнение: AI станет стандартным инструментом в аппаратной безопасности, меняя баланс между защитой производителей и автономией пользователей.