Livenerf: Has Opus 5.5 been nerfed yet?

livenerf — это открытый бенчмарк, созданный для отслеживания возможного ухудшения возможностей больших языковых моделей после их релиза. Он фокусируется на одном вопросе: становится ли модель хуже спустя дни или недели после запуска, например, из-за квантования, снижения вычислительных затрат или изменений в маршрутизации запросов. Инструмент использует фиксированный набор промптов, зафиксированную версию CLI и детерминированные грейдеры, чтобы измерять дрейф точности на основе тысяч образцов, минимизируя субъективные оценки («vibes»).

Бенчмарк запущен для Claude Opus 5.5, релиз которого состоялся 22 сентября 2026 г. Сбор данных начался 24 сентября (день 1) и планируется на 30 дней: первые 10 дней — базовый период, затем два десятидневных окна для обнаружения изменений. Панель состоит из 78 вопросов, отобранных из GPQA Diamond, MMLU-Pro, competition-math и AIME 2025–26, которые модель решает нестабильно (иногда правильно, иногда нет). На свежих образцах проходной уровень по этим вопросам составляет ~62%, что используется для расчёта статистической мощности. Инструмент способен обнаружить изменение точности на ~7.5 пунктов за 10-дневный период. Валидация показала, что снижение усилий проявляется сильнее в сокращении output-токенов (−62% при низких усилиях) niż в падении точности (−8.3 ± 4.5 пунктов). Замена Opus 5.5 на Opus 5 не была статистически значимо discernible (−3.8 ± 6.3 пунктов точности, −23% токенов) в текущем объёме выборки. Все данные, включая сырые логи и хэши промптов, публично доступны, а грейдеры — чистые функции, чтобы исключить предвзятость автора, даже если он использует LLM для написания кода. Проект независим и не affiliated с Anthropic.

Комментарии (340)

В сообществе обсуждаются временные ухудшения качества моделей из‐за нагрузки и оптимизаций, но также отмечается, что многие ощущаемые «нерфы» связаны с эффектом новизны и ростом ожиданий, а не с системным ухудшением. Некоторые участники (rplnt, nsarrazin) подтверждают, что при высоком спросе операторы могут временно снижать качество модели для увеличения пропускной способности, особенно в будние дни США. kingcauchy отмечает, что зависимость качества от нагрузки GPU и максимального использования железа может приводить к регрессиям, аналогично старым наблюдениям в Google Translate. Спор о реальности нерфа: rplnt и rw2 считают, что модели действительно нерфятся; johnfn и solenoid0937 — что это субъективное восприятие и эффект «медового месяца» после релиза. Nerf Bench (jug) фиксирует отклонения более 10 % от базового уровня и зафиксировал деградацию Opus 4.6, о чём Anthropic объявила публично. nsarrazin подчеркивает, что восприятие ухудшения часто связано с ростом ожиданий, а не с реальными изменениями в модели. codr1 советует использовать первые 3‐5 дней после релиза как базовый период для сравнения, так как к второй неделе обычно наблюдается спад. LeoPanthera отмечает, что одиночные наблюдения (n=1) ненадёжны из‐за недетерминированности вывода LLM. nico сообщает о замедлении работы Opus 5.5 после анонса Sonnet 5.5 из‐за частых запросов разрешений — это влияет на скорость, а не на качество. winwang и solfox делятся опытом, что Opus 5.5 показывает отличные результаты, противореча мнению о широком нерфе. rplnt отмечает, что временные падения качества почти никогда не происходят в выходные и характерны для будних дней США. hyperionultra предлагает использовать открытые модели, чтобы избежать скрытых нерфов, так как их код и параметры доступны для проверки. johnfn объясняет ощущаемую деградацию «потолком сложности»: после релиза пользователи задают более сложные запросы, достигая предела возможностей модели, что воспринимается как ухудшение. solenoid0937 утверждает, что модели не ухудшаются, а пользователи просто привыкают к новому уровню интеллекта. nomilk считает, что проекты вроде livenerf важны для подотчётности провайдеров LLM и подчёркивают их необходимость. LeoPanthera советует проводить многократные прогоны с разными промптами и агрегировать результаты, чтобы уменьшить шум измерений.