A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Исследователи предлагают Minions — распределённый виртуальный GPU-облако, которое объединяет простаивающие графические процессоры устройств на Apple Silicon под управлением macOS для выполнения крупномасштабного машинного обучения. Рост спроса на GPU-ускоренный вывод моделей упирается в ограничения централизованных инфраструктур: высокую стоимость, слабую эластичность и долгие ожидания в очереди. При этом мощные GPU в современных Mac большую часть времени бездействуют. Minions позволяет командам задействовать уже имеющееся оборудование, не закупая новые ускорители, и обеспечивает гибкое выполнение задач вывода, отказоустойчивость и эффективное использование ресурсов.
Практика показывает, что простаивающие macOS-устройства можно превратить в рабочую распределённую платформу для GPU-вывода там, где централизованных ресурсов не хватает. Это особенно актуально на фоне растущей популярности Apple Silicon среди разработчиков и исследователей ИИ: фреймворк MLX уже позволяет эффективно запускать большие языковые модели прямо на Mac, экспериментировать с новыми методами вывода и дообучения и работать с ИИ в приватной среде на собственном железе. MLX поддерживает все системы на Apple Silicon.
Отдельно отмечается прогресс в ускорении вывода LLM и для GPU NVIDIA, широко применяемых в промышленных задачах: авторегрессивная генерация токенов обходится дорого и идёт относительно медленно, поэтому повышение эффективности вывода напрямую снижает задержку для пользователей.