MicroLLM Lab – Try 7 tiny LLM's in the browser

MicroLLM lab позволяет запускать небольшие языковые модели (25–360 млн параметров) прямо в браузере с ускорением через WebGPU, обеспечивая конфиденциальность и отсутствие серверных затрат. Модели квантованы в формате Q4 (4 бита на параметр), что снижает их размер в 4 раза — например, модель в 100 млн параметров занимает ~50–84 МБ в памяти браузера. Это позволяет использовать их для быстрой триажи запросов, фильтрации спама или определения намерений за миллисекунды, решая, нужен ли дорогой облачный LLM.

Lab предлагает загружать модели через IndexedDB, тестировать их в чат-панели и проводить бенчмарки в отдельной вкладке, генерируя сертификаты производительности. Без WebGPU (на CPU через WASM) скорость составляет 8–20 токенов/секунду, тогда с аппаратным ускорением — 100–300+ токенов/секунду (10–20× быстрее). Доступны модели вроде PetitGPT (125M), SmolLM2 (135M/360M) и MiniMind2 (26M/104M), все под лицензией Apache-2.0. Для работы требуется современный браузер с поддержкой WebGPU (Chrome 113+, Edge 113+, Brave или Firefox с флагом) и включённым аппаратным ускорением.

Комментарии (113)

Обсуждение подтверждает, что микромодели действительно работают в браузере быстро, но выявляет существенные проблемы: перегруженный UI, ограниченная поддержка языков, несовместимость с Firefox и частые галлюцинации моделей, а также подчёркивает потенциал стандартизации через Web Models API.

Пользователи отмечают, что запуск моделей в браузере происходит очень быстро, что делает их подход идеальным для быстрых демонстраций без серверной части.
Несколько комментаторов сообщают, что ответы моделей часто бессмысленны или содержат галлюцинации, поэтому их пока сложно применять к реальным задачам, например к рецептам или запросам о населении.
Большинство отзывов указывают на плохой дизайн интерфейса: мелкий шрифт, перегруженная страница и непонятный футер затрудняют использование даже простого продукта.
Тесты показывают, что приложение работает в Chromium, но падает в Firefox с ошибкой «GPUShaderStage is not defined», что свидетельствует о проблемах совместимости WebGPU.
Модели, представленные в MicroLLM Lab, обучены только на английском, запросы на других языках, например немецком, просто отдаются без обработки.
Некоторые участники демонстрируют, что с помощью WebGPU можно запускать более крупные модели в виде одностраничных HTML‐приложений, даже в изолированных (air‐gapped) средах.
Совет: Для упрощения доступа к локальным моделям в браузерах рекомендуется следить за развитием стандарта Web Models API, который предлагает единый интерфейс для запуска открытых весов.