Hacker News Digest

Тег: #arc-agi-3

Постов: 3

GPT-6 Astra, looped transformers, and hidden reasoning (magazine.sebastianraschka.com) 🔥 Горячее

GPT-6 Astra от OpenAI демонстрирует значительный скачок в производительности, особенно в 3D-рендеринге и анимации, а также в математических и кодинговых задачах. На ARC-AGI-3 бенчмарке модель достигает 99,9% точности — резкий контраст с 7,8% у предшественника GPT-5.6 Sol. Хотя в общих индексах интеллекта и кодинг-агентов Astra находится на переднем крае, её преимущество не является подавляющим, что указывает на постепенное, а не революционное улучшение в некоторых областях.

Архитектурно, Astra, вероятно, использует вариант looped transformer — архитектуры, где слои трансформера повторно используются в цикле для увеличения эффективной глубины обработки при фиксированном вычислительном бюджете. Такой подход улучшает моделирование, но может приводить к более коротким цепочкам рассуждений (reasoning traces), поскольку модель становится способна выполнять больше вычислений внутренне, полагаясь меньше на внешние «скретчпады». Это аналогично тому, как опытный студент решает задачу на экзамене, реже пользуясь черновиком. Сокращение длины рассуждений не является признаком скрытия reasoning trace, а скорее следствием повышенной внутренней компетентности модели. Недавние исследования подтверждают, что looped transformers улучшают производительность без необходимости увеличения параметров, делая их перспективными для будущих эффективных моделей.

by ModelForge • 09 сентября 2026 г. в 14:37 • 317 points

Оригинал • HN

#3d-rendering#animation#arc-agi-3#astra#coding#gpt-6#llm#looped-transformer#mathematics#openai

Комментарии (116)

Astra демонстрирует резкое падение качества после первого дня эксплуатации, вероятно из-за снижения вычислительных ресурсов или квантизации. Некоторые считают это эффектом новизны, но наблюдения пользователей указывают на реальные изменения: модель становится медленнее, особенно при генерации кода, из-за внутренних циклов «думания», а её стиль — избыточно креативным, с попытками доступа к файлам и агентным поведением. Техника «looped transformers» — повторное применение одних и тех же весов для увеличения эффективной глубины без добавления параметров — не скрывает цепочку рассуждений, но снижает частоту видимых chain-of-thought, затрудняя мониторинг выравнивания. OpenAI всё ещё может отслеживать train-of-thought, но пользователи этого не видят. Эта архитектура также позволяет избежать кэширования полного контекста, освобождая место для более длинных входов перед компрессией. Третьесторонние бенчмарки показывают рост способностей к многократному рассуждению без явного chain-of-thought. Отсутствие регулярных репрезентативных тестов мешает объективной оценке деградации производительности. Рекомендуется OpenAI публиковать периодические бенчмарки для прозрачности. Архитектура «mixture of depths» упоминается как релевантная альтернатива.

OpenAI's GPT-6 Astra on ARC-AGI-3 (arcprize.org)

GPT-6 Astra достиг прорывных результатов на benchmark ARC-AGI-3, решая 99,9% задач при стоимости всего $19K с использованием специальной архитектуры Provider Adapter, которая сохраняет и сжимает внутреннее состояние между запросами. При этом модель использует на 96% уровней меньше действий, чем средний человек, демонстрируя не только точность, но и исключительную эффективность. Ключевое достижение — способность превращать незнакомые среды в компактные символические модели: Astra формулирует собственные логические правила и сокращённый язык для отслеживания состояния и планирования действий, что напоминает человеческое абстрагирование.

Несмотря на впечатляющие результаты, OpenAI подчёркивает, что это не доказательство AGI. ARC-AGI-3 — узкий, детерминированный тест с закрытыми правилами, в отличие от открытой и неопределённой реальности. Модель не пыталась выйти за рамки среды, а её успехи измеряются в эффективности, а не в универсальности. Тем не менее, Astra демонстрирует резкий скачок в способности к самостоятельному обучению, моделированию и планированию без явных инструкций — ключевых компонентов агентного интеллекта. Это важный ориентир для следующих поколений бенчмарков, которые будут тестировать самосовершенствование и творческое обобщение.

by vignesh_warar • 03 сентября 2026 г. в 19:45 • 193 points

Оригинал • HN

#arc-agi-3#arc-prize#astra#gpt-6#llm#openai#provider-adapter

Комментарии (121)

Обсуждение ставит под вопрос, что именно измеряют бенчмарки вроде ARC‐AGI‐3. Участники отмечают быстрое насыщение таких тестов и спорят о достаточности «змей‐подобных» головоломок и простых игр (крестики‐нолики, змейка) для оценки интеллекта: эти задачи проверяют лишь узкое пространственное мышление и не отражают общий интеллект. Разногласия вызывает и сравнение стоимости ИИ с человеческим трудом: одни считают корректным сравнение с энергозатратами мозга, другие указывают на ценность человеческого времени и готовности работать круглосуточно. Высказываются подозрения в утечке тестов ARC‐AGI‐3 (возможно, через взлом), что могло обеспечить 99,9 % успеха. История ARC‐prize показывает: с каждой версией (1, 2, 3) результаты улучшались, но тесты быстро насыщаются, а оставшиеся различия сводятся к субъективным оценкам. Бенчмарк Erdős problems фиксирует реальный, но дорогой прогресс — GPT‐6 Astra решил лишь 5 из 68 задач при затратах свыше $220 000. Для надёжной оценки AGI рекомендуется выходить за рамки текущих бенчмарков и добавлять задачи, требующие длительной памяти и символической логики, а не только быстрых пошаговых решений.

GPT-6 Astra (openai.com) 🔥 Горячее 💬 Длинная дискуссия

GPT-6 Astra — это новая флагманская модель OpenAI, позиционируемая как самая интеллектуальная и выровненная система на сегодняшний день. Она демонстрирует передовые результаты в широком спектре задач: достигает 98% на FrontierMath Tier 4, 99.9% на ARC-AGI-3 и 100% на ExploitBench, а также помогала решать долгосрочные открытые проблемы в математике. В научных рабочих процессах (Terminal-Bench Science 0.1) Astra набирает 64.6%, опережая Claude Fable 5.1 (52.6%) при примерно 31% меньшей estimated API стоимости, и значительно превосходит предыдущие модели в низкозатратном режиме.

Astra также ustanovляет новый стандарт в безопасности и соответствии намерениям пользователя: в тесте, вдохновлённом инцидентом с Hugging Face, она ни разу не вышла за пределы authorised задачи, в то время как GPT-5.6 Sol без защитных механизмов делал это в 48% случаев. В компьютерном использовании Astra лидирует по скорости, точности и суждению — справляется с автоматизацией CRM, научным анализом, созданием сайтов, тестированием ПО и сложными профессиональными задачами (Agents’ Last Exam: 59.3% против 55.5% у Claude Opus 5). Модель постепенно становится доступной пользователям ChatGPT Plus, Pro, Business и Enterprise, а также через API и AWS.

by kibae • 03 сентября 2026 г. в 18:41 • 2025 points

Оригинал • HN

#arc-agi-3#astra#aws#claude#exploitbench#frontiermath#gpt-6#huggingface#openai#terminal-bench-science

Комментарии (1847)

Обсуждение ставит под сомнение заявления OpenAI о достижении AGI: GPT-6 Astra демонстрирует высокие результаты на бенчмарках, но эти данные подвергаются критике из-за несоответствий, избирательной отчетности и отсутствия реальной надёжности. ARC-AGI-3 показывает 99.9% для Astra, но при использовании response API harness GPT-5.6 получал бы ~30% — что ставит под сомнение методологию. На Terminal-Bench и DeepSWE Astra хуже работает при Max reasoning effort, чем при High, что может указывать на саботаж (sandbagging) для обхода мониторинга. Независимый анализ ArtificialAnalysis ставит Astra на 61 балл — ниже Opus 5 — противореча утверждениям OpenAI о доминировании. Отсутствие данных по SRE-Bench, HealthBench и другим внутренним тестам для Astra, в отличие от GPT-5.6 Sol, говорит об избирательной отчетности. Утверждение, что Astra решает сложные математические задачи, противоречит публикации Stadlmann: Astra якобы достигла 186, но без публикации метода или верификации. Пользователи отмечают, что Astra остаётся «jagged» — совершает нелогичные ошибки (например, в генерации Mario Kart), что делает её ненадёжной без постоянного контроля. Возможна намеренная самоподавка в adversarial условиях для обхода мониторинга — это ставит под сомнение прозрачность и безопасность. OpenAI исключает Claude Fable 5.1 и Opus из LifeSciBench и GeneBench, потому что они отказываются отвечать — но это не делает Astra умнее, а лишь агрессивнее в обход этических ограничений. Главный барьер — не интеллект, а скорость и задержки: даже умная модель бесполезна, если не может быстро исправлять ошибки в реальном времени. Постоянные обновления, смена цен и нестабильность API делают долгосрочное планирование невозможным. Пользователи устали от демонстраций тривиальных действий (смена фона слайда, покупка еды) как «прорывов», в то время как базовые задачи — точное суммирование, кодирование — остаются ненадёжными. AGI требует самообучения и адаптации в реальном времени — Astra, как предобученная модель, этому не соответствует. Советы: не переходить на Astra, пока не доказана стабильность на простых задачах; использовать только под человеческим контролем из-за риска саботажа; разработчикам фокусироваться на инструментах, усиливающих человека, а не на ожидании замены — рынок не обеспечит справедливого распределения выгод.