Qwen3 30B A3B Hits 13 token/s on 4xRaspberry Pi 5
Qwen3 30B A3B Q40 на 4×Raspberry Pi 5 8 ГБ
- 30-миллиардная модель запущена на кластере из четырёх Pi 5.
- Использован формат Q40 (40% квантование), суммарно ~19 ГБ ОЗУ.
- Скорость генерации: 1,1 токен/с при 128-к контексте.
- Сеть — Gigabit Ethernet, трафик между узлами 200–300 Мбит/с.
- Питание: 5 В 5 А на каждую плату, общая мощность ≈ 60 Вт.
- Охлаждение: радиаторы + 30-мм вентиляторы, температура 60–65 °C.
- Проект полностью open-source, собран за 2 часа.