From the creator of Redis; run LLM locally with ds4

DwarfStar 4 (ds4) — это узкоспециализированный C-движок для локального запуска frontier-моделей: DeepSeek V4/V4.1 Flash, GLM 5.x и Qwen3.8 Flash Next. Он работает на высокопамятных Mac (Metal), CUDA и ROCm-устройствах, используя асимметричную 2-битную квантилизацию routed экспертов, сохраняя точность критических путей. Это позволяет размещать 284-миллиардные параметровые модели на машинах с 128 ГБ ОЗУ, где KV-кэш сохраняется на SSD по хешу промпта, ускоряя перезапуски без полного префилла.

Движок предоставляет три интерфейса: интерактивный CLI (./ds4), локальный HTTP-сервер с OpenAI/Anthropic-совместимыми API (./ds4-server) и нативный агент для постоянных кодинг-сессий (./ds4-agent), все разделяющие одно состояние модели и кэш. На M5 Max с 128 ГБ при контексте 65K токенов достигается 398.5 токенов/с на префилле и 27.6 на генерации; на DGX Spark аналогичной конфигурации — 823.0 и 13.8 соответственно. Установка: клонировать репо, скачать веса через download_model.sh ds4f-q2, собрать под бекенд (например, make cuda-spark) и запустить. Лицензия MIT.

Комментарии (99)

ds4 эффективно запускает крупные MoE-модели на Apple Silicon с 128 ГБ RAM, обеспечивая высокую скорость генерации и поддержку длинных контекстов (до 1 млн токенов, ~22 токенов/сек на Qwen 3.8 Flash Next на M5 Max). Требует дорогостоящего оборудования, ограничивая доступность. ds4 отличается минимальными зависимостями, ориентацией на frontier-модели и асимметричной 2-битной квантизацией экспертов, позволяя размещать модели до 284 млрд параметров на потребительском железе. Поддерживает Metal (Apple Silicon) и CUDA/ROCm (другие платформы), фокусируясь на реальных сценариях использования на высокопроизводительном оборудовании, а не на универсальности. Разработчики расширяют ds4: добавлена поддержка Qwen3.8 и Vision, реализованы FFI-биндинги для Go (ds4go), улучшена интеграция с Hugging Face через TUI. SSD-стриминг позволяет запускать крупные модели (например, полные GLM 5.x) на системах с менее чем 96 ГБ RAM, расширяя применимость за пределы флагманских Mac. Пользователь @simoiacos разработал собственный инференс-движок для Intel Xe-LP (без XMX) на 32 ГБ ноутбуках, поддерживающий квантизированный Gemma-4, с планами расширения поддержки MoE-моделей. Пользователь @liuliu рекомендует Local Code (TestFlight) как альтернативу для 64 ГБ M5-Pro, поддерживающую DeepSeek 4.1 Flash и Qwen 3.8 27B с SSD-стримингом и кастомными квантами. Некоторые пользователи сомневаются в уникальности ds4 по сравнению с llama.cpp или ollama, которые также поддерживают длинные контексты и квантизацию. Комментатор @doctorpangloss утверждает, что квантизированный чекпоинт DeepSeek V4 низкого качества, что ставит под сомнение точность результатов несмотря на высокую скорость. Использование C вместо Rust обусловлено стремлением к минимальным зависимостям и максимальной портируемости (как в Redis), обеспечивая лёгкую интеграцию через FFI. Пользователь @neomantra создал ds4go — Go-биндинги и TUI-инструменты для загрузки моделей с Hugging Face, упрощая использование ds4 для не-C-разработчиков. Цена MacBook Pro M5 Max с 128 ГБ RAM (~7800 €) делает ds4 доступным лишь для узкого круга пользователей, ограничивая массовое распространение несмотря на технические достижения.