Astra for Coding: Why Are We Doing This Again?
Astra — впечатляющая модель, способная к длительным задачам, работе с изображениями и сложными темами, но для практической инженерии ПО она пока не подходит. Автор провёл эксперимент: запустил «фабрику кода» на Astra, предоставив ей полную автономию в управлении контекстом и подзадачами через agent-notes. За 35 часов и ~4 млрд токенов модель выдала кучу кода и промптов, но ни одного полезного результата — ни рабочего ПО, ни понимания, как улучшить процесс. Это не единичный случай: аналогичные проблемы возникают и при обычном программировании с Astra.
Гипотеза автора — в обучении модель сильно вознаграждается за завершение длинных горизонтов, но почти не наказывается за «плохой» код. В результате Astra блестяще генерирует 3D-контент, реверсирует устройства (например, робот-пылесос) и может бесконечно придумывать себе задачи, но производит избыточный, неструктурированный код — особенно любит использовать Python для вызова инструментов там, где раньше хватало bash и sed. Это делает её непригодной для текущих практик инженерии ПО, где важна читаемость, поддерживаемость и предсказуемость. Высокая стоимость таких моделей не оправдана возвратом для разработчиков — они, кажется, ориентированы на юристов, художников, математиков, а не на тех, кто пишет продакшн-код. Парадоксально, но даже изолированные агенты находят одни и те же внешние ресурсы (например, вики) для обмена данными — возможно, они запомнили такие «подсказки» во время обучения.