Hacker News Digest

Unreal Agent — это фреймворк для создания AI-агентов, разработанный Unreal Labs, который снижает нагрузку на модель за счёт полностью асинхронного управления вызовами инструментов. Вместо ожидания завершения каждого инструмента (например, поиска в вебе или запуска окружения), система сразу фиксирует событие как «in-progress» и продолжает работу модели, позволяя ей получать пользовательские указания в реальном времени и выполнять полезные задачи между вызовами LLM. Это устраняет необходимость модели управлять ожиданиями, опросами и сердцебиениями инструментов, снижая когнитивную нагрузку и расход токенов.

Благодаря такой архитектуре Unreal Agent достигает frontier cost efficiency: в реальных рабочих нагрузках и на бенчмарках он экономит до 40% по сравнению с Codex и до 20% по сравнению с Pi, при этом сохраняя или улучшая производительность. Например, на DeepSWE 1.1 он достигает 72.4% прохода при стоимости $1367 — лучше, чем у Codex (69.0%, $1633) и Pi (69.6%, $1584). На Agents’ Last Exam (ALE-CLI) unreal-agent показывает 30.0% полного прохода при среднем балле 59.7 и стоимости $217 — опережая конкурентов по эффективности. Фреймворк поддерживает Go-библиотеку, исполняемый runner и интеграцию с Harbor для воспроизводимых тестов. harness-дизайн рассматривается как самостоятельное направление исследований с большим потенциалом оптимизации.

Асинхронный вызов инструментов снижает токен-затраты, но название «Unreal Agent» вызывает правовые риски из-за схожести с Unreal Engine (торговая марка Epic Games), что может привести к Cease & Desist. Аналогичные подходы уже реализованы в Claude Code, Crush, DSH (PTC), omp.sh и других системах, что ставит под сомнение уникальность продукта. В графике статьи сравнение Unreal Agent с Codex на Astra max некорректно — следует использовать сопоставимый уровень. Патч-версия Codex с асинхронными вызовами даёт схожую экономию токенов. В Claude Code и Crush асинхронные инструменты работают, но агенты часто вызывают wait() с длинным таймаутом, вызывая зависания — риск, который может повториться в Unreal Agent. Отсутствие инструкций по запуску в README критикуется: даже при генерации документации ИИ нужен четкий getting started. Для self-hosted моделей оптимизация под стоимость считается анти-фичей — лучше использовать полный контекст в 1M токенов, который сейчас почти не задействуется. В проектах с Unreal Engine простой экспорт данных в текст и вызов Python-скриптов из редактора надежнее сложных MCP-архитектур. Отсутствие OAuth-поддержки у фронт-лабов (особенно Anthropic) сдерживает инновации из-за дорогих API-вызовов. Пользователи разочарованы, что продукт не связан с Unreal Engine и ожидали инструмента для генерации игровых миров. Альтернативный подход: использовать Claude для написания самонаблюдающегося Pi-расширения, которое уведомляет о завершении фоновых процессов. Decision models могут предварительно обрабатывать простые решения (триаж, проверки безопасности), чтобы LLM тратил токены только на сложные задачи. Асинхронность бесполезна, если агент не может принимать решения без результата инструмента — unclear, как Unreal Agent решает эту проблему, если не ждёт ответа.

Strix обнаружил активный GitHub personal access token с правами администратора в публичном образе контейнера Baseten, доступном через их Harbor-реестр. Токен принадлежал сервисному аккаунту basetenbot и предоставлял полный доступ к основным репозиториям продукта, GitOps и Homebrew tap, а также к приватным репозиториям клиентов. Образ, содержавший токен, был собран в марте 2023 года и оставался уязвимым до июля 2026 года — более трёх лет. Strix обнаружил его за 25 минут автономного сканирования без учётных данных или доступа к исходному коду.

Baseten отреагировал оперативно: к следующему дню они сделали Harbor-проект приватным и ротировали скомпрометированный токен, подтвердив критичность уязвимости. Инцидент подчеркивает риски оставления секретов в слоях контейнеров и избыточных прав у сервисных токенов. Авторы рекомендуют регулярно сканировать образы на секреты, ограничивать права токенов по принципу наименьших привилегий и использовать автономные агенты вроде Strix для проактивного поиска уязвимостей в собственной инфраструктуре.

Утечка токена произошла из-за хранения секретов в Docker-образах, а не из-за сложной атаки. Baseten оперативно устранила уязвимость без компрометации данных клиентов. Токен оставался активным более трёх лет (с марта 2023 по июль 2026), что указывает на отсутствие политики ротации PAT и использование бессрочных токенов — классическая ошибка. Уязвимость была обнаружена простым сканированием Docker-образов, а не AI-агентом. Любой детерминированный пентест-инструмент мог это сделать. Использование Docker build-аргументов для секретов небезопасно. Следует использовать build secrets с флагом --provenance=false для удаления метаданных. Baseten профессионально отреагировала: ротировала токен, удалила образ, сотрудничала с Strix и подтвердила отсутствие эксплуатации по логам. Спор: Strix запустила агента без согласия на домене клиента — одни считают это нарушением этики, другие — стандартной пентест-практикой при проверке поставщиков. Спор: Strix использовала AI-агент как маркетинговый ход — одни видят в этом рекламу уязвимости, другие — корректное раскрытие, улучшившее отраслевую безопасность. Совет: Все секреты, включая GitHub-токены, должны иметь короткий срок жизни и автоматически ротироваться — ежемесячно, а в будущем — ежечасно. Совет: Не храните проприетарные репозитории, GitOps-конфигурации или CI/CD-пайплайны на GitHub — это как оставлять ключи от дома на улице, особенно при наличии частных альтернатив. Совет: SOC2 Type II или HIPAA не гарантируют отсутствия базовых ошибок вроде хранения токенов в образах. Аудит должен проверять фактическую реализацию, а не только документы. Совет: Секреты в Docker-сборке должны изолироваться через build secrets, а не через build args — иначе они остаются в слоях и доступны всем с доступом к реестру. Сложность не в том, что AI-агент нашёл то, что человек не смог — а в том, что человек не стал проверять историю сборки Docker-образов, хотя это элементарно и критично. Инцидент подчеркивает: большинство утечек происходят из-за простых, известных и предотвратимых ошибок — неограниченных токенов и публичных образов с секретами. Совет: Регулярное сканирование публичных реестров контейнеров на секреты — обязательная практика для любой компании, заботящейся о репутации и безопасности клиентов. Baseten не была единственной жертвой — подобные утечки происходят ежедневно, но редко публикуются, так как компании их скрывают, а агенты не публикуют отчёты. Совет: Для защиты необходимо внедрять автоматическое сканирование образов на секреты на этапе сборки и блокировать публикацию образов с любыми следами токенов.

Real-SWE — это новый бенчмарк, оценивающий передовые ИИ-модели на закрытых, реальных корпоративных кодовых базах. В отличие от публичных наборов данных, он использует приватные enterprise-репозитории, что делает оценку более реалистичной для промышленного применения. Тестирование проводится в изолированных песочницах, задачи представлены в формате Harbor, а верификаторы берутся непосредственно из существующих тестов кодовой базы или воссоздаются по их образцу.

Результаты показывают, что высокая стоимость не коррелирует с лучшей производительностью: лидером стал Fable 5.1 с 38.8% решённых задач при стоимости $6.96 за запуск, тогда как самые дешёвые модели — Gemini 3.8 Flash ($2.50) и GPT-5.6 Sol ($2.65) — показали 31.2% и 16.2% соответственно. Среднее количество output токенов варьируется от 12k (GPT-5.6 Sol) до 117k (GLM 5.3), а число вызовов инструментов иwall-clock время значительно различаются между моделями, что указывает на разные стратегии работы агентов. Ни одна из протестированных моделей не достигла высоких показателей надёжности, что подчеркивает сложность автоматизации реального ПО в enterprise-среде.

Реальные корпоративные бенчмарки выявляют ограничения ИИ-моделей, не видимые на публичных данных, и показывают несоответствие метрик практике. Для репродуктивного тестирования нужно изолировать среду: обрезать git-историю до коммита до изменений, запускать агента в песочнице с ограниченным доступом и использовать реальные тикеты как промпты. Модели часто ошибаются из-за непроверенных предположений — это подтверждается опытом с Fable и Sol, где Sol исправляет ошибки Fable. Есть спор: Gemini 3.8 Flash эффективен в закрытых кодбазах, но делает слишком много вызовов инструментов (210 для 3 строк кода), что снижает эффективность. Бенчмарки без человеческого сравнения бессмысленны — 60% сбоев вызваны неясными требованиями, а не способностями модели. Для оценки на реальных кодбазах лучше использовать PR-ревью как метрику, чем генерацию с нуля. Модели, обученные на публичных данных, могут быть загрязнены корпоративным кодом, поэтому даже приватные бенчмарки могут быть искажены. Fable точнее Astra, но Astra в 5 раз быстрее и менее раздражающая — выбор зависит от приоритетов. Текущие бенчмарки не охватывают системный код, встроенные системы, RTOS или EDA-инструменты, что делает оценку неполной для многих отраслей. Для работы в больших кодбазах полезен «кодовый атлас» — семантическая карта связей между компонентами, сокращающая время чтения и предотвращающая пропуски контекста. При оценке нужно усреднять результаты по нескольким запускам (например, pass@1 на 8 запусках), иначе один удачный результат искажает картину. Для тестирования на собственных кодбазах можно использовать сервисы вроде superconductor.com/benchmark1 — они импортируют PR, восстанавливают спецификации и запускают агентов на исторических коммитах. Модели плохо внедряют бизнес-логику: генерируют UI или структуру, но пропускают правила, если они не указаны в промпте. Есть спор: GLM 5.3 и Kimi K3 показывают лучшие результаты, чем GPT-5.6 Sol, что некоторые считают неожиданным и подозревают методологические ошибки. Для объективной оценки нужно учитывать стоимость: Kimi K3 использует вдвое больше токенов, чем другие модели, что делает его дороже. Бенчмарки на непрозрачных приватных кодбазах без деталей вызывают скептицизм — без воспроизводимости и контекста они не более чем «pinkypromise benchmarking».