Show HN: Gemini 4 Argon plays StarCraft

Бенчмарк StarSkirmish v0.2 проверяет, насколько сильного бота для StarCraft: Brood War напишет языковая модель за один час — на C++ и за протоссов. Затем бот играет против ботов других моделей и против написанных людьми. Оценка — средняя доля побед по пяти запускам, от 0 до 100.

Лидирует GPT-6 Astra, за ним GPT-6.1 Sol; Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 практически вровень (37–39). Лучшее соотношение цены и качества у GPT-6.1 Sol — единственной модели в привлекательном квадранте, чуть дороже десятой доли цены лидера.

Насыщения не видно: против сильнейших человеческих ботов Stardust, PurpleWave и BananaBrain лучшая модель выигрывает лишь 7% игр. Сильнее всего счёт предсказывает объём практики против семи сильнейших ботов ростера: GPT-6 Astra, GPT-6.1 Sol и Gemini 4 Argon начинают играть с ними рано, ещё проигрывая. Fable 5.1 — исключение: 37 очков, тренируясь почти только на слабых. Разброс между запусками велик у Gemini 4 Argon (18 очков против 9 и 8 у конкурентов). Бенчмарк больше не коррелирует с Artificial Analysis Intelligence Index (ρ 0,26) и отошёл от Terminal-Bench 4.0, но по-прежнему связан с Vals IOI и WeirdML.

Комментарии (110)

Обсуждение дополняет статью скепсисом относительно чистоты бенчмарка из-за возможного запоминания кода ботов из обучающей выборки и подчеркивает критическую роль «обвязки» (harness) в производительности моделей. Пользователи @gritzko и @donutdonot полагают, что бенчмарк проверяет скорее способность к воспроизведению кода из обучающей выборки (recall), так как в сети много реализаций ботов для StarCraft, в то время как @gritzko отмечает, что в играх с меньшим количеством открытого кода LLM демонстрируют иные аспекты рассуждений. По опыту @djoldman, выбор интерфейса взаимодействия (harness), доступные инструменты (например, веб-поиск) и уровни «мышления» (thinking levels) оказывают огромное влияние на итоговый результат одной и той же модели. В то время как бенчмарк ставит GPT-6 Astra на первое место, @t1amat по своему опыту при создании ботов для ModernUO обнаружил, что Claude Opus 5.5 значительно лучше справляется с пониманием и построением системы, чем модели GPT-6. По мнению @GodelNumbering, результаты StarSkirmish v0.2 точно коррелируют с рейтингами GoBench (бенчмарк по игре Го), что указывает на общую иерархию способностей моделей в сложных стратегических задачах. Для более объективной оценки @BeaverGoose предлагает протестировать LLM-ботов против Pluto — нейросетевого бота, способного побеждать лучших игроков в Brood War. Пользователи @iugtmkbdfil834 и @carychang отмечают, что текущий метод оценки не разделяет навыки генерации кода, логический анализ, знание платформы C++ и умение разрабатывать тактики.