Hacker News Digest

Бенчмарк StarSkirmish v0.2 проверяет, насколько сильного бота для StarCraft: Brood War напишет языковая модель за один час — на C++ и за протоссов. Затем бот играет против ботов других моделей и против написанных людьми. Оценка — средняя доля побед по пяти запускам, от 0 до 100.

Лидирует GPT-6 Astra, за ним GPT-6.1 Sol; Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 практически вровень (37–39). Лучшее соотношение цены и качества у GPT-6.1 Sol — единственной модели в привлекательном квадранте, чуть дороже десятой доли цены лидера.

Насыщения не видно: против сильнейших человеческих ботов Stardust, PurpleWave и BananaBrain лучшая модель выигрывает лишь 7% игр. Сильнее всего счёт предсказывает объём практики против семи сильнейших ботов ростера: GPT-6 Astra, GPT-6.1 Sol и Gemini 4 Argon начинают играть с ними рано, ещё проигрывая. Fable 5.1 — исключение: 37 очков, тренируясь почти только на слабых. Разброс между запусками велик у Gemini 4 Argon (18 очков против 9 и 8 у конкурентов). Бенчмарк больше не коррелирует с Artificial Analysis Intelligence Index (ρ 0,26) и отошёл от Terminal-Bench 4.0, но по-прежнему связан с Vals IOI и WeirdML.

Обсуждение дополняет статью скепсисом относительно чистоты бенчмарка из-за возможного запоминания кода ботов из обучающей выборки и подчеркивает критическую роль «обвязки» (harness) в производительности моделей. Пользователи @gritzko и @donutdonot полагают, что бенчмарк проверяет скорее способность к воспроизведению кода из обучающей выборки (recall), так как в сети много реализаций ботов для StarCraft, в то время как @gritzko отмечает, что в играх с меньшим количеством открытого кода LLM демонстрируют иные аспекты рассуждений. По опыту @djoldman, выбор интерфейса взаимодействия (harness), доступные инструменты (например, веб-поиск) и уровни «мышления» (thinking levels) оказывают огромное влияние на итоговый результат одной и той же модели. В то время как бенчмарк ставит GPT-6 Astra на первое место, @t1amat по своему опыту при создании ботов для ModernUO обнаружил, что Claude Opus 5.5 значительно лучше справляется с пониманием и построением системы, чем модели GPT-6. По мнению @GodelNumbering, результаты StarSkirmish v0.2 точно коррелируют с рейтингами GoBench (бенчмарк по игре Го), что указывает на общую иерархию способностей моделей в сложных стратегических задачах. Для более объективной оценки @BeaverGoose предлагает протестировать LLM-ботов против Pluto — нейросетевого бота, способного побеждать лучших игроков в Brood War. Пользователи @iugtmkbdfil834 и @carychang отмечают, что текущий метод оценки не разделяет навыки генерации кода, логический анализ, знание платформы C++ и умение разрабатывать тактики.

Anthropic выпустила Claude 3.5 Sonnet — модель, превосходящую GPT‑4 в большинстве тестов, но её использование остаётся дорогим: каждая тысяча запросов стоит в 2–3 раза дороже, чем у конкурентов вроде Gemini 1.5 Pro. Это делает сервис менее привлекательным для стартапов и малых компаний, которые ищут экономичные решения.

Компания позиционирует модель как «лучшую в отрасли», но реальная конкуренция приходит от открытых и полуоткрытых альтернатив, которые предлагают схожий уровень качества за меньшие деньги. В результате пользователи всё чаще выбирают более доступные инструменты, а Anthropic вынуждена пересматривать ценовую политику, чтобы удержать рынок.

Fable непригодна для корпоративного использования из-за отсутствия ZDR — юридические риски блокируют внедрение, а агрессивные safety-фильтры Anthropic мешают работе в InfoSec и сложном кодинге, заставляя модель отказывать или деградировать до Opus. Для большинства задач (код, тексты, Excel) SOTA-мощности избыточны: пользователи массово переходят на дешёвые или локальные альтернативы — Kimi K3, Grok, Qwen, GLM, Deepseek — которые обеспечивают достаточную производительность без зависимости от дорогих API. Локальные модели позволяют self-host решения и избегать внешних ограничений. Opus и Sonnet остаются основными инструментами внутри компаний — Fable часто не включается вообще. Стиль ответов Claude (излишняя вербальность, «LinkedIn-тон») требует дополнительного промптинга. Fable плохо работает в Claude Code, часто застревает или отказывается решать выполнимые задачи. Политика Anthropic воспринимается как недоверие к пользователям, что разрушает лояльность, особенно после инцидентов с OpenClaw и ограничений Fable. Споры о качестве Opus: одни называют её «Slowpus», другие — лучшей для важных задач, но жалуются на цену. Некоторые считают Fable узкоспециализированным инструментом, но большинство отмечают её хрупкость и непригодность даже для сложных задач. Исключения — редкие автономные сценарии (например, 18-часовой рефакторинг), требующие корпоративного бюджета. Скептицизм по TAM: рынок завышен — ценность LLM ограничена необходимостью ручной проверки (особенно в юриспруденции), а технологии дефляционны. Подозревают намеренное ухудшение Opus 4.8 для стимулирования перехода на новые тарифы. Риск: промпты с кодовой базой содержат больше данных для обучения, чем публичные источники — утечка возможна даже при включённых галочках конфиденциальности.

Немотрон 3.5 Лайтнинг — это высокая эффективность модели с 30 млрд параметров, построенная на архитектуре Mixture of Experts, предназначенная для длительных агентных задач. Она ускоряет обработку в 4 раза и сокращает время выполнения агентных цепочек на 30% по сравнению с аналогами, при этом сохраняет уровень «предельной» интеллектуальной точности. Благодаря открытости и поддержке NeMo её можно дообучить на собственных данных — для юридических, кибербезопасностных или код-ревью задач.

Немо Свитчард — это инструмент для умного маршрутизации запросов между моделями в составе многоагентных систем. Он позволяет выбирать оптимальную модель под каждый запрос: например, 93% запросов обрабатываются локальными экспертами, а лишь 7% — дорогими фронтенд-моделями. Это снижает затраты на 58–74% и ускоряет работу агентов. Уже используют такие компании, как CrowdStrike, CodeRabbit, Ramp и Siemens, чтобы сократить расходы и повысить производительность в реальных рабочих потоках.

Тред обсуждает практический опыт использования моделей Nemotron 3.5 Lightning и других моделей в задачах кодирования и обработки естественного языка. Эксперты и пользователи сходятся во мнении, что модели с меньшим числом параметров, включая Nemotron 3.5 Lightning, эффективны и быстры, особенно для ресурсоёмких задач, но могут иметь ограничения в сложных сценариях. Отмечается спорная проблема кэширования: одни пользователи считают её значимой, другие — несущественной. Рекомендуется выбирать модель в зависимости от конкретной задачи.