Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s
Strata — это бесплатный и открытый движок для запуска модели Qwen3.8-Flash-Next на обычных игровых ПК с видеокартой NVIDIA или AMD от 12 ГБ VRAM и 32 ГБ ОЗУ. Он позволяет работать с 125-миллиардным параметровым ИИ локально: чат, генерация кода, анализ изображений и интеграция с агентами — всё без отправки данных в сеть. Установка выполняется в один клик для Windows и Linux, а после запуска модель доступна через локальный OpenAI/Anthropic-совместимый API.
На RTX 5070 (12 ГБ) модель в режиме IQ3_S генерирует ответы со скоростью 53 токена в секунду и обрабатывает промпты до 32К токенов со скоростью 1,620 токенов в секунду. На AMD RX 9070 XT (16 ГБ) соответствующие показатели составляют 44 и 1,420 токенов/с. Благодаря технике «guess, then check» и чтению длинных текстов блоками до 8,192 токенов, ускорение достигает 1,6–1,8× по сравнению с обычным режимом. Для комфортной работы со всеми вариантами модели рекомендуется 64 ГБ ОЗУ и SSD — первый запуск тогда происходит значительно быстрее. Strata использует квантованные версии модели от ISTA-DASLab, UkisAI и Unsloth, а также компоненты llama.cpp, и распространяется под лицензией MIT.