I trained a small transformer in 1.5hrs and it beats many LLMs

Автор обучил небольшую трансформерную модель с нуля на видеокарте RTX 5090 за 1,5 часа, достигнув 44% точности на публичном наборе ARC-AGI-1 при стоимости всего 67 центов. Это превосходит многие крупные языковые модели и сравнимо с результатами TRM/HRM, при этом модель остаётся открытой и значительно улучшена по сравнению с предыдущей версией: архитектура обновлена (SwiGlu, RMSnorm), количество слоёв увеличено с 4 до 8, улучшена обработка данных и аугментаций, а также заменён оптимизатор AdamW на Normuon с использованием flash attention и переменной длины последовательностей. Ключевое изменение — обучение только на выходных токенах, что сделало подход обучением с учителем и повысило точность с 40% до 44%, несмотря на непонятный автором механизм этого улучшения. На более сложном наборе ARC-2 модель набрала 7%. Автор подчёркивает, что работа направлена на поиск пределов выборочной эффективности в рамках современных методов глубокого обучения, снижение стоимости и ускорение итераций, чтобы сделать исследования доступными широкому кругу людей. ARC считается идеальным бенчмарком из-за малого количества примеров, высокой размерности, отсутствия необходимости в сильных priors и лёгкости для человека. Планы включают дальнейшие исследования для преодоления текущих ограничений при сохранении низкой стоимости экспериментов. Код доступен на GitHub, обсуждение — в X (Twitter).

Комментарии (155)

Успех модели обусловлен не «обучением на тесте», а метаобучением и эффективной предобработкой данных, что ставит под сомнение доминирование LLM в абстрактном рассуждении. Часть аудитории считает использование обучающих примеров из ARC-AGI во время теста «benchmaxxing»: модель адаптируется к структуре задач, а не демонстрирует обобщение. Автор возражает: ARC-AGI — метаобучающий бенчмарк, где метки ответов скрыты и модель выводит ответ по паттернам, что соответствует стандартам метаобучения. Критики сравнивают подход со «сдачей по старым билетам», но это не то же самое, что прямое обучение на тестах, поскольку метки недоступны. Автор подтверждает: используется только структура вопросов из eval-набора, без меток. Синтетические данные также не применялись — только реальные примеры ARC. Sample efficiency — ключевая нерешённая проблема ИИ. Простые архитектуры при тщательной кураторке данных могут превосходить гигантские LLM при минимальных затратах. Качество данных важнее объёма: целенаправленный отбор примеров, а не готовые датасеты, даёт значительный прирост, хотя требует большого труда. Модель — простой autoregressive transformer, обученный на ~100 примерах ARC, тогда как LLM используют миллиарды интернет-примеров, что делает сравнение некорректным в пользу последних. Это напоминает докомпьютерную эпоху с малыми моделями на ограниченных данных. Человеческое обучение устроено аналогично — анализ нескольких примеров перед решением новой задачи, — что делает подход биологически обоснованным, а не «обманом». Предложения: - Ввести запрет на офлайн-предобучение для честного сравнения и исключения «benchmaxxing» через огромные массивы данных. - Проверять обобщение на задачах вне ARC, а не только бить один бенчмарк. - Протестировать модель на ARC-AGI-3, где LLM достигают 99%, чтобы оценить переносимость результата. - Стремиться к системам непрерывного обучения без жёсткого разделения на «обучение» и «тест».