OpenTPU – An open-source AI accelerator, developed by AI

openTPU — это открытый ИИ-ускоритель, полностью разработанный с помощью ИИ-агентов, включая RTL, ISA, симулятор, компилятор и профайлер в одном репозитории. Проект исследует, насколько далеко может зайти ИИ в проектировании аппаратного обеспечения и способен ли создать чип, который будет выполнять собственный вывод. Ускоритель работает на плате Inspur YPCB-00338 с FPGA Xilinx Kintex-7 xc7k480t и двумя каналами DDR3-1066 (пиковая пропускная способность 17.1 ГБ/с), достигая до 94% использования пропускной способности DRAM при декодировании моделей. Все десять современных моделей, включая Qwen3, LFM2.5 и Gemma 4, запускаются с реальными весами и производят битов идентичные результаты по сравнению с бито-точным симулятором.

В режиме декодирования LFM2.5-230M с int8 весами достигает 59.0 токенов/с на устройстве и 52.3 токенов/с в реальном времени (wall time), при префилле — 295.6 токенов/с. Использование 4-битной квантизации с int8-головкой повышает производительность до 85.8 токенов/с на устройстве для той же модели. Более крупные модели, такие как Phi-4-mini (3.8B), работают со скоростью 3.99 токенов/с в int8 и 6.56 токенов/с в 4-битной конфигурации. Дизайн использует одно ядро для всех моделей при частоте 133.33 МГц, включает четырёхколоночный систолический матричный блок и LiteDRAM-контроллеры, калиброванные встроенным CPU. Текущие усилия направлены на улучшение эффективности DRAM-подсистемы, увеличение таймингового запаса и ускорение префилла за счёт повышения частоты и оптимизации матричного блока. Проект распространяется под лицензией Apache 2.0 и предназначен для обучения: весь стек доступен для end-to-end изучения — от Python-ядра до проводов в RTL.

Комментарии (323)

Практические ограничения — длительные сроки разработки, ограниченная пропускная способность памяти и дефицит фабричных мощностей — делают ASIC для передовых моделей рискованными, но специализированные чипы полезны для «достаточно хороших» моделей. OpenTPU демонстрирует потенциал AI‐поддерживаемого проектирования, однако текущая производительность на FPGA остаётся скромной. Скорость появления новых моделей опережает сроки проектирования и производства ASIC, поэтому компании предпочитают гибкие GPU, которые быстро адаптируются к новым архитектурам. Спор: Одни считают, что специализированные ASIC оправданы для «достаточно хороших» моделей, другие указывают на риск быстрого устаревания и ограниченную пропускную способность памяти, делая такие чипы менее привлекательными. Доступ к фабричным мощностям ограничен, сроки изготовления могут занимать годы, что делает экспериментальные чипы экономически рискованными и часто приводит к их устареванию к моменту выхода. Совет: Для практического применения лучше использовать уже существующие модели среднего уровня (например Opus 4.7) на ASIC, поскольку они дают высокую производительность при приемлемой памяти и не требуют постоянных переобучений. Основным узким местом инференса остаётся пропускная способность памяти; ускорители, оптимизированные под конкретную модель, не решают эту проблему, поэтому компании балансируют между мощностью, площадью и программируемостью. Совет: Если цель — экспериментировать с открытым ускорителем, стоит учитывать, что текущая реализация openTPU на FPGA Kintex‐7 даёт лишь несколько токенов в секунду, но после рекурсивного улучшения достигла более 80 tok/s на небольших моделях. Спор: Некоторые утверждают, что AI уже может полностью спроектировать чипы, другие подчёркивают, что человеческое руководство всё ещё необходимо для создания симуляций и проверки ограничений, как показано в комментариях о реальном участии людей.