Apple ML Research: Muse Spark Open with MLX on Mac Studio
Фреймворк MLX с открытым исходным кодом позволяет запускать передовые языковые модели локально на Apple silicon, используя унифицированную память. В новой версии показано, как модель Muse Spark Open почти на триллион параметров работает прямо на рабочем столе: на кластере из четырёх Mac Studio она выдаёт более 36 токенов в секунду — выше средней скорости человеческого чтения. Ключ к этому — сочетание трёх технологий: поддержки нейронных ускорителей в GPU чипов M5, низколатентной связи между машинами через RDMA поверх Thunderbolt и эффективной реализации архитектуры смеси экспертов (MoE).
Сравниваются два поколения Mac Studio — новый M5 Ultra и предыдущий M3 Ultra. Тестировались три модели: Muse Spark Open (816 млрд параметров, MoE, в 4-битной точности NVFP4), Mistral Medium 3.5 (128 млрд, FP8) и Qwen 3.8 (27 млрд, BF16). Замерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление. Благодаря комбинации нового кремния, 512 ГБ унифицированной памяти и RDMA поверх Thunderbolt 5 модели свыше 800 млрд параметров запускаются локально, а скорость старта выросла до 4,6 раза по сравнению с прошлым поколением.