Speech Recognition and TTS in less than 500kb
Moonshine Micro — это открытый набор инструментов для создания голосовых интерфейсов, работающих на микроконтроллерах и DSP, в частности на процессоре RP2350, который стоит около 80 центов. Он объединяет три модуля: детектор активности речи, распознавание команд и нейронную синтез речи, и при этом укладывается в 470 КБ оперативной памяти. В демо‑конфигурации для RP2350 требуется около 3,6 МБ флеш и 468 КБ RAM, при этом VAD использует ~89 КБ флеш и ~36 КБ RAM, STT — ~1,3 МБ флеш и ~346 КБ RAM, а нейронный TTS — ~1,8 МБ голосового пакета и ~340 КБ RAM. VAD требует ~0,8 MMAC/фрейм (~25 MMAC/с), STT — ~36 MMAC/с, TTS — ~37 MMAC типичного ответа (~65 MMAC/с). Эти цифры показывают, насколько эффективно используются вычисления. Все вычисления выполняются в режиме последовательного time‑sharing одной ~384 КБ арены TFLM.
Код распространяется под лицензией MIT, что позволяет использовать его в коммерческих проектах, а примеры включают настройку Wi‑Fi на RP2350 через голосовое управление. Модули VAD, STT и TTS могут работать независимо, опираясь на TensorFlow Lite Micro для нейронных операций. Главное преимущество — возможность запускать полноценный голосовой пайплайн на микроконтроллере с ограниченными ресурсами, что открывает новые сценарии для умных устройств.