Five months treating bugs like patients and coding agents like a medical team
За пять месяцев команда Cockroach Labs использовала систему MOLT Sinai — метафору обучающей больницы — для автоматизированной реализации поддержки миграции из IBM Db2 в CockroachDB. Агенты, выступающие в роли врачей, разбили задачу на 32 подзадачи с зависимостями, создали 27 pull requestов, прошли 55 раундов ревью и escalated только два вопроса человеку. Всё это произошло за два дня: агенты написали более 10 тыс. строк тестовых фикстур, новый схемконвертер, пути Fetch и Verify, ANTLR-грамматику и Docker-образ для CI — без участия человека в написании кода. Стоимость составила $4172 в токенах, что в 38 раз дешевле и в 164 раза быстрее, чем аналогичная работа по добавлению Oracle-поддержки в 2024 году (9 месяцев, ~$160K). Качество кода подтвердилось эквивалентным тестовым покрытием по сравнению с PostgreSQL — лучшей протестированной диалектной системой. Модель MOLT Sinai обеспечивает не только скорость, но и качество: агенты работают под наблюдением «главврачей» (людей), а код проходит строгую верификацию. Система спроектирована так, чтобы предотвратить попадание ошибочного кода в продакшен — критично для миграций данных клиентов. Сейчас команда улучшает больницу, чтобы вовлекать junior-инженеров: они могут брать triaged-задачи, защищать свои планы перед агентами и писать код сами — либо вручную, либо с помощью интерактивного LLM-ассистента — чтобы развивать навыки и получать обратную связь. Цель — не заменить инженеров, а вырастить новых, способных к критическому мышлению и осознанным tradeoffам, даже в эпоху автономного кода. Планируются эксперименты по возврату к полной автономности для простых задач, но с сохранением человеческого надзора там, где важна сущность.