Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases

Real-SWE — это новый бенчмарк, оценивающий передовые ИИ-модели на закрытых, реальных корпоративных кодовых базах. В отличие от публичных наборов данных, он использует приватные enterprise-репозитории, что делает оценку более реалистичной для промышленного применения. Тестирование проводится в изолированных песочницах, задачи представлены в формате Harbor, а верификаторы берутся непосредственно из существующих тестов кодовой базы или воссоздаются по их образцу.

Результаты показывают, что высокая стоимость не коррелирует с лучшей производительностью: лидером стал Fable 5.1 с 38.8% решённых задач при стоимости $6.96 за запуск, тогда как самые дешёвые модели — Gemini 3.8 Flash ($2.50) и GPT-5.6 Sol ($2.65) — показали 31.2% и 16.2% соответственно. Среднее количество output токенов варьируется от 12k (GPT-5.6 Sol) до 117k (GLM 5.3), а число вызовов инструментов иwall-clock время значительно различаются между моделями, что указывает на разные стратегии работы агентов. Ни одна из протестированных моделей не достигла высоких показателей надёжности, что подчеркивает сложность автоматизации реального ПО в enterprise-среде.

Комментарии (157)

Реальные корпоративные бенчмарки выявляют ограничения ИИ-моделей, не видимые на публичных данных, и показывают несоответствие метрик практике. Для репродуктивного тестирования нужно изолировать среду: обрезать git-историю до коммита до изменений, запускать агента в песочнице с ограниченным доступом и использовать реальные тикеты как промпты. Модели часто ошибаются из-за непроверенных предположений — это подтверждается опытом с Fable и Sol, где Sol исправляет ошибки Fable. Есть спор: Gemini 3.8 Flash эффективен в закрытых кодбазах, но делает слишком много вызовов инструментов (210 для 3 строк кода), что снижает эффективность. Бенчмарки без человеческого сравнения бессмысленны — 60% сбоев вызваны неясными требованиями, а не способностями модели. Для оценки на реальных кодбазах лучше использовать PR-ревью как метрику, чем генерацию с нуля. Модели, обученные на публичных данных, могут быть загрязнены корпоративным кодом, поэтому даже приватные бенчмарки могут быть искажены. Fable точнее Astra, но Astra в 5 раз быстрее и менее раздражающая — выбор зависит от приоритетов. Текущие бенчмарки не охватывают системный код, встроенные системы, RTOS или EDA-инструменты, что делает оценку неполной для многих отраслей. Для работы в больших кодбазах полезен «кодовый атлас» — семантическая карта связей между компонентами, сокращающая время чтения и предотвращающая пропуски контекста. При оценке нужно усреднять результаты по нескольким запускам (например, pass@1 на 8 запусках), иначе один удачный результат искажает картину. Для тестирования на собственных кодбазах можно использовать сервисы вроде superconductor.com/benchmark1 — они импортируют PR, восстанавливают спецификации и запускают агентов на исторических коммитах. Модели плохо внедряют бизнес-логику: генерируют UI или структуру, но пропускают правила, если они не указаны в промпте. Есть спор: GLM 5.3 и Kimi K3 показывают лучшие результаты, чем GPT-5.6 Sol, что некоторые считают неожиданным и подозревают методологические ошибки. Для объективной оценки нужно учитывать стоимость: Kimi K3 использует вдвое больше токенов, чем другие модели, что делает его дороже. Бенчмарки на непрозрачных приватных кодбазах без деталей вызывают скептицизм — без воспроизводимости и контекста они не более чем «pinkypromise benchmarking».