Hacker News Digest

livenerf — это открытый бенчмарк, созданный для отслеживания возможного ухудшения возможностей больших языковых моделей после их релиза. Он фокусируется на одном вопросе: становится ли модель хуже спустя дни или недели после запуска, например, из-за квантования, снижения вычислительных затрат или изменений в маршрутизации запросов. Инструмент использует фиксированный набор промптов, зафиксированную версию CLI и детерминированные грейдеры, чтобы измерять дрейф точности на основе тысяч образцов, минимизируя субъективные оценки («vibes»).

Бенчмарк запущен для Claude Opus 5.5, релиз которого состоялся 22 сентября 2026 г. Сбор данных начался 24 сентября (день 1) и планируется на 30 дней: первые 10 дней — базовый период, затем два десятидневных окна для обнаружения изменений. Панель состоит из 78 вопросов, отобранных из GPQA Diamond, MMLU-Pro, competition-math и AIME 2025–26, которые модель решает нестабильно (иногда правильно, иногда нет). На свежих образцах проходной уровень по этим вопросам составляет ~62%, что используется для расчёта статистической мощности. Инструмент способен обнаружить изменение точности на ~7.5 пунктов за 10-дневный период. Валидация показала, что снижение усилий проявляется сильнее в сокращении output-токенов (−62% при низких усилиях) niż в падении точности (−8.3 ± 4.5 пунктов). Замена Opus 5.5 на Opus 5 не была статистически значимо discernible (−3.8 ± 6.3 пунктов точности, −23% токенов) в текущем объёме выборки. Все данные, включая сырые логи и хэши промптов, публично доступны, а грейдеры — чистые функции, чтобы исключить предвзятость автора, даже если он использует LLM для написания кода. Проект независим и не affiliated с Anthropic.

В сообществе обсуждаются временные ухудшения качества моделей из‐за нагрузки и оптимизаций, но также отмечается, что многие ощущаемые «нерфы» связаны с эффектом новизны и ростом ожиданий, а не с системным ухудшением. Некоторые участники (rplnt, nsarrazin) подтверждают, что при высоком спросе операторы могут временно снижать качество модели для увеличения пропускной способности, особенно в будние дни США. kingcauchy отмечает, что зависимость качества от нагрузки GPU и максимального использования железа может приводить к регрессиям, аналогично старым наблюдениям в Google Translate. Спор о реальности нерфа: rplnt и rw2 считают, что модели действительно нерфятся; johnfn и solenoid0937 — что это субъективное восприятие и эффект «медового месяца» после релиза. Nerf Bench (jug) фиксирует отклонения более 10 % от базового уровня и зафиксировал деградацию Opus 4.6, о чём Anthropic объявила публично. nsarrazin подчеркивает, что восприятие ухудшения часто связано с ростом ожиданий, а не с реальными изменениями в модели. codr1 советует использовать первые 3‐5 дней после релиза как базовый период для сравнения, так как к второй неделе обычно наблюдается спад. LeoPanthera отмечает, что одиночные наблюдения (n=1) ненадёжны из‐за недетерминированности вывода LLM. nico сообщает о замедлении работы Opus 5.5 после анонса Sonnet 5.5 из‐за частых запросов разрешений — это влияет на скорость, а не на качество. winwang и solfox делятся опытом, что Opus 5.5 показывает отличные результаты, противореча мнению о широком нерфе. rplnt отмечает, что временные падения качества почти никогда не происходят в выходные и характерны для будних дней США. hyperionultra предлагает использовать открытые модели, чтобы избежать скрытых нерфов, так как их код и параметры доступны для проверки. johnfn объясняет ощущаемую деградацию «потолком сложности»: после релиза пользователи задают более сложные запросы, достигая предела возможностей модели, что воспринимается как ухудшение. solenoid0937 утверждает, что модели не ухудшаются, а пользователи просто привыкают к новому уровню интеллекта. nomilk считает, что проекты вроде livenerf важны для подотчётности провайдеров LLM и подчёркивают их необходимость. LeoPanthera советует проводить многократные прогоны с разными промптами и агрегировать результаты, чтобы уменьшить шум измерений.

LaunchVideo — это сервис, который генерирует короткие промо-видео из URL или текстового описания продукта. Пользователь вставляет ссылку на сайт или пишет промпт вроде «сделай современный динамичный ролик для стартапа в сфере инференса», и система за ~4 минуты выдаёт готовое MP4. За основу берётся модель Claude Opus 5.5, которая пишет сценарий видео в виде HTML/CSS/JS-кода, а затем серверless-агент на OpenComputer рендерит его в реальное видео. На одно видео уходит около 90k входных и 15k выходных токенов, большая часть — сам сгенерированный код страницы.

Рендеринг происходит в изолированном микровм (Amazon Linux 2023, arm64, 4 vCPU, 8 ГБ ОЗУ), где сначала устанавливается headless Chromium и статический ffmpeg, затем виртуальный clock подменяет реальное время, чтобы каждый кадр был детерминированным и воспроизводимым. Видео собирается из JPEG-кадров при 1920x1080, 30 fps через libx264 с crf 18, без использования нейросетевых видеомоделей. Готовый файл загружается в Vercel Blob по одноразовому токену и становится доступным по публичной ссылке. Всё управление — через API: создание сессии, передача ввода, опрос событий и получение результата. Исходный код агента открыт и развёртывается в один клик через шаблон на GitHub.

Opus 5.5 генерирует код для explainer-видео (HTML/CSS/JS) за минуты, ускоряя производство по сравнению с ручной разработкой. Однако качество страдает из-за переусердствования анимациями и поверхностных сценариев: пользователи отмечают, что 80% работы делает ИИ, но 20% ручной правки (сценарий, тайминг, голос) критически важны. Результаты часто выглядят профессионально, но несут мало содержательной информации — повторяются тезисы без логического развития, а стиль становится шаблонным. Многие считают такие видео flashy slide decks без реальной ценности, хотя они полезны для стартапов с ограниченным бюджетом. Opus 5.5 не генерирует медиа напрямую — он создаёт код, рендеримый через Playwright и FFmpeg, что требует технической инфраструктуры. Модель плохо координирует визуальные композиции, часто допуская ошибки в макетах и не учитывая ограничения восприятия (мелкий текст, быстрая смена слайдов). Настоящие качественные explainer-видео (как Kurzgesagt) строятся на глубокой проработке сценария, а не на эффектах — ИИ пока этого не умеет. Ранние демо часто требовали многодневной ручной работы, что вызывает скептицизм по поводу заявленной простоты. Для эффективных видео важно фокусироваться на понятности, а не на красоте: оптимизировать темп и избегать перегрузки анимациями. Лучше использовать реальные UI-записи с автоматической обработкой (удаление пауз, замена фона) или инструменты вроде Motion Canvas/Remotion с ручной настройкой, чем полагаться на синтетические сцены. Для локального использования можно заменить облачные сервисы на ffmpeg и локальную копию Claude-Code, снижая стоимость и повышая контроль.

Claude Opus 5.5 (max with fallback) демонстрирует высокие результаты в интеллектуальных тестах Artificial Analysis Intelligence Index v4.3.2, который включает десять оценок: AA-Briefcase v1.1, GDPval-AA v2.1, AutomationBench-AA, Terminal-Bench 4.0, SciCode, Humanity's Last Exam, GDP.pdf, CritPt, AA-Omniscience и AA-LCR v1.1. Эти тесты измеряют способности к агентной работе с знаниями, решению реальных задач, программированию, рассуждению в профессиональных документах, физике и медицинскому долгосрочному контексту. Модель показывает сильные результаты в аналитическом качестве и презентации, особенно в AA-Briefcase Elo, который объединяет проход по рубрике, аналитическое качество и презентацию в единую метрику Elo. В AA-Omniscience, оценивающем надёжность знаний и галлюцинации, модель получает высокие баллы благодаря низкому уровню выдумок и высокой точности ответов, где шкала от -100 до 100 отражает преобладание правильных над неверными ответами.

По эффективности использования ресурсов Claude Opus 5.5 оптимизирован: среднее количество выходных токенов на задачу интеллектуального индекса рассчитывается с учётом весов каждого теста, что позволяет снижать избыточность в генерации. Стоимость одной задачи также минимизирована благодаря взвешенному учёту цен на входные, кэш-хит, кэш-райт, reasoning и answer токены. Модель поддерживает большой контекстный窗口, что критично для RAG-потоков, требующих обработки больших объёмов данных. Доступность весов модели помечена как проприетарная с возможными ограничениями на коммерческое использование, что важно для корпоративного внедрения. Overall, Claude Opus 5.5 сочетает высокую интеллектуальную производительность с эффективным использованием токенов и контролируемой стоимостью на задачу.

Режимы 'Medium' и 'High' обеспечивают оптимальное соотношение производительности, стоимости и времени. Режим 'Max' часто неэффективен в реальных задачах: он приводит к избыточным рассуждениям, «аналитическому параличу» и исчерпанию лимита токенов без улучшения результата. В Claude Code по умолчанию установлен 'Medium', что подтверждает его пригодность для работы, в то время как 'Max' предназначен скорее для бенчмаркинга. Для высокой интеллектуальной мощности эффективнее использовать более сильную модель с низким уровнем размышлений или разбивать задачу на этапы. Opus 5.5 'Medium' превосходит другие модели по цене за интеллект, а 'High' вдвое дешевле аналогичных режимов конкурентов. Для задач с большим объемом вывода (до 300K токенов) доступна бета-версия output-300k-2026-03-24. Пользователи отмечают, что Opus 4.8 стабильнее Opus 5 в следовании инструкциям и удержании контекста. Модели Luna и Sol также предлагают лучшее соотношение цены и качества, чем дорогостоящие флагманы. Реальные рабочие сценарии важнее синтетических бенчмарков, так как последние могут быть манипулированы. Спорные случаи (например, генерация SVG пеликана на велосипеде) вызывают дискуссии о воспроизводимости проблем 'Max' и о том, измеряют ли такие тесты полезный интеллект.

Claude Opus 5.5 — это первая модель новой семьи Claude 5.5, которая по производительности сравнима с Claude Fable 5.1, но стоит на 40% дешевле в эксплуатации по сравнению с Opus 5. Она прошла внешнюю оценку, включая тесты от Frontier Design и METR, и показала лучшие результаты на комплексном поведенческом аудите — самом строгом тесте на соответствие и безопасность, который проводит Anthropic. Opus 5.5 значительно реже совершает необратимые действия, выходит за заданные границы или поддаётся инъекциям промптов, а также устойчивее к атакам типа дистилляции благодаря механизму «сохранённого мышления», введённому ранее в Fable 5.1.

На практике Opus 5.5 демонстрирует существенный прирост возможностей: один тестировщик перенёс 680 000 строк кода за день вместо недель работы команды, а другая группа получила более качественную игру при генерации от одного промпта. Модель успешно оптимизировала время загрузки веб-приложения в 39 из 40 случаев, не меняя её поведения, в отличие от Opus 5. Она также генерирует ответы на 30% быстрее, а стоимость токенов снижена: вход — $4, выход — $20 за миллион (на 20% дешевле), а кэш-чтения — $0.20 за миллион (на 60% дешевле). Opus 5.5 доступна на AWS, Google Cloud, Azure и через Claude Platform под именем claude-opus-5-5, с нулевым хранением данных и водяными знаками для соответствия EU AI Act. Доступ к её использованию в биологии и кибербезопасности предоставляется через верификационные программы после проверки организаций. Claude Sonnet 5.5 и Haiku 5.5 последуют позже.

Claude Opus 5.5 снижает стоимость эксплуатации на 40% и улучшает коммуникацию: пишет яснее, ставит ключевую информацию в начало, стал «лучшим рабочим партнёром» (по @mcintyre1994, @aytigra). Снижает стоимость cache reads на 60% (с $0.50 до $0.20 за 1M токенов) — критично для агентных и кодовых нагрузок (по @joshstrange, @GodelNumbering). Работает в 2–3 раза быстрее, чем Opus 5 (по @apeci, @aytigra). Снижение цен сопровождается улучшением лимитов для подписчиков (по @2001zhaozhao, @somewhatjustin). Однако вызывает серьёзные опасения: агрессивные системы безопасности, сопоставимые с Fable 5.1, блокируют легитимные задачи в кибербезопасности и системном программировании (по @kibae, @slowin). Есть риск отслеживания и передачи конфиденциальных исследований ИИ Anthropic из-за Fable-уровневых safeguard'ов (по @puttycat, @shibel). Некоторые пользователи считают DeepSeek v4.1 более эффективным и дешёвым для сложных агентных задач (генерация сайтов, визуальная проверка) (по @wg0). Есть обвинения в намеренном цикле «хайп-деградация-хайп»: Opus 5.5 будет деградировать через 2–3 недели перед запуском Fable 6 (по @gtirloni). Проблема с перегруженными, искусственными ответами остаётся нерешённой (по @shibel). После ухудшения UX и агрессивной модерации некоторые отменяют подписку и переходят на локальные модели (по @davedx). Сравнительные тесты показывают, что Opus 5.5 сопоставим с Fable 5.1 и Astra 6 в виб-кодинге (Minecraft-, Warcraft-клоны) (по @senko). Рекомендуется тестировать на генерации анимаций из текста (по @consumer451) и преобразовании дизайна в HTML (по @jjcm), хотя в последнем уступает Astra в производительности и анимациях. Haiku 5.5 ожидается как важный шаг для пользователей быстрых моделей (по @m4tthumphrey, @sznio). Постоянные обновления вызывают перегрузку: пользователи выбирают модели по настроению, а не качеству (по @magicalhippo).

Claude Opus 5.5 — новая модель от Anthropic, превосходящая Opus 5 по производительности на сложных задачах и дешевле на 40% в эксплуатации. Она показала рекордные результаты в автоматизированных тестах на безопасность, включая устойчивость к инъекциям и предотвращение опасных действий. Одни из тестов: за день она выполнила миграцию 680 000 строк кода, что команде заняло бы недели, и успешно улучшила время загрузки веб-приложения в 39 из 40 случаев, не нарушая поведение системы. В игре, созданной по одному запросу, она превзошла все другие модели по качеству графики и полировке.

Модель стала первой, в которой внедрён механизм «сохранённого мышления» против дистилляции — атак, при которых злоумышленники копируют возможности модели через фальшивые аккаунты. Opus 5.5 также улучшил коммуникацию: текст стал яснее, логичнее и ближе к человеческому стилю, что упрощает проверку и снижает риски. Цены на токены снизились на 20%, а чтение кэша — на 60%. Доступ ограничен для биологических и кибербезопасностных задач, требующих верификации. Модель доступна на AWS, Google Cloud и Azure, с нулевым хранением данных и водяными знаками для соответствия EU AI Act.

Opus 5.5 стал дешевле на 40 %: $4 за 1 млн токенов ввода, $20 за вывод, $0.20 за чтение кеша. Улучшены скорость (на 30 %) и стиль общения — сообщения короче, понятнее, лучше воспринимаются в длительных сессиях. Упомянуты специализированные программы верификации для Life Sciences и Cyber. Доступен механизм «Reset for free» до 22 октября для временного расширения лимитов. Однако вызывает скепсис реальное преимущество над Fable 5.1 и другими моделями: разрыв в практических задачах меньше, чем в бенчмарках, а Fable воспринимается как более продаваемый бренд. Некоторые пользователи предпочитают Astra или DeepSeek для повседневных задач. Выражены опасения по частоте релизов (пропуск версий 5.1‐5.4), стабильности после недавних сбоев и необходимости тестировать Opus 5.5 на конкретных нагрузках перед миграцией, учитывая прошлую «словесную» реакцию модели.