We turned EmbeddingGemma 2 into a speech-to-text model
Модель EmbeddingGemma 2 от Google, созданная как мультимодальный эмбеддер для текста, изображений, аудио и видео в общем пространстве, превращена в систему распознавания речи. Идея в том, что произнесённое слово попадает в векторном пространстве рядом со своим письменным вариантом, поэтому слова можно «вычитывать» напрямую оттуда. Аудиокодер модели остался нетронутым: небольшой «читатель» переносит каждый короткий фрагмент аудио в текстовое пространство, ближайшее из примерно 229 000 английских слов побеждает, а крошечная дополнительная модель расставляет пунктуацию и заглавные буквы. Обучался только «читатель» — менее двух часов на 8 ускорителях H100 на открыто лицензированной английской речи; сама базовая модель никогда не училась на транскрипцию.
Скорость впечатляет: час аудио обрабатывается примерно за 13 секунд на базовом MacBook Air с чипом M3 и 8 ГБ памяти, полностью на устройстве через Neural Engine — это около 288-кратного реального времени. Для сравнения, IBM Granite Speech 5.0 TurboCTC на той же машине даёт примерно 150×, а NVIDIA Parakeet TDT 0.6B v3 на более мощных M4 Pro и M5 Pro — 156× и 335× соответственно, тогда как дообученная Phonon-2 достигает 480×. Пока качество распознавания скромнее: уровень ошибок в словах около 5% против 2–3% у лидирующих речевых моделей, и авторы рассчитывают закрыть разрыв лучше обученным «читателем» в следующей итерации.
Приложение бесплатно для macOS 14+ на Apple Silicon, модели (715 МБ) скачиваются при первом запуске. Можно перетащить аудиофайл или удерживать правый Option, говорить и отпустить, чтобы надиктовать текст в любое приложение; аудио никогда не покидает машину.