GPT-6 Astra, looped transformers, and hidden reasoning
GPT-6 Astra от OpenAI демонстрирует значительный скачок в производительности, особенно в 3D-рендеринге и анимации, а также в математических и кодинговых задачах. На ARC-AGI-3 бенчмарке модель достигает 99,9% точности — резкий контраст с 7,8% у предшественника GPT-5.6 Sol. Хотя в общих индексах интеллекта и кодинг-агентов Astra находится на переднем крае, её преимущество не является подавляющим, что указывает на постепенное, а не революционное улучшение в некоторых областях.
Архитектурно, Astra, вероятно, использует вариант looped transformer — архитектуры, где слои трансформера повторно используются в цикле для увеличения эффективной глубины обработки при фиксированном вычислительном бюджете. Такой подход улучшает моделирование, но может приводить к более коротким цепочкам рассуждений (reasoning traces), поскольку модель становится способна выполнять больше вычислений внутренне, полагаясь меньше на внешние «скретчпады». Это аналогично тому, как опытный студент решает задачу на экзамене, реже пользуясь черновиком. Сокращение длины рассуждений не является признаком скрытия reasoning trace, а скорее следствием повышенной внутренней компетентности модели. Недавние исследования подтверждают, что looped transformers улучшают производительность без необходимости увеличения параметров, делая их перспективными для будущих эффективных моделей.