Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
Ternary Bonsai 2 27B — это улучшенная версия модели на основе Qwen3.8 27B, использующая тернарные веса {−1, 0, +1} с FP16 групповой масштабировкой, достигающая эффективной плотности 1.76 бита на вес и общего объёма модели всего 5.9 ГБ. Это более чем в 9 раз меньше полноценной модели при сохранении 98.2% её агрегатной производительности по бенчмаркам. Модель поддерживает контекстное окно в 262K токенов, multimodal ввод (текст + изображение) и лицензирована под Apache 2.0.
По сравнению с первым релизом Bonsai 27B, новая версия использует более сильную базовую модель (Qwen3.8 27B вместо Qwen3.6), демонстрирует улучшенные результаты в рассуждениях, кодировании, зрении и агентном поведении, особенно в долгосрочных задачах и работе с инструментами. В агрегатном бенчмарке она набирает 83.9 балла против 85.4 у полноценной Qwen3.8 27B, при этом сохраняя сильные стороны в критичных областях: код (81.58), инструменты (77.57), инструкции (82.66) и математика (96.57). Развёртывание поддерживается на NVIDIA GPU через CUDA и на Apple-устройствах через MLX с использованием кастомных низкобитовых ядер. Такой подход позволяет значительно расширить спектр устройств, способных запускать мощные модели локально, снижая энергопотребление и увеличивая плотность полезного интеллекта на единицу памяти.