Ollaya – Ollama for open-source, Jev-style decision models

Ollaya — это локальная система для запуска моделей принятия решений, которая возвращает калиброванные ответы на типизированные вопросы за миллисекунды. Она работает на собственном оборудовании, поддерживает TypeSafe-совместимый API и позволяет задавать вопросы о тексте или JSON, получая структурированные ответы с вероятностями и метками риска, разрушительности и т.д. Например, модель decider:2b на RTX 4090 отвечает за 178 мс, а пятивопросный запрос к laya занимает ~10 мс end-to-end через HTTP API.

Модели Ollaya — открытые и включают laya (быстрая, мультиязычная), decider (точность на основе Qwen3.5), von (до 8192 токенов контекста), qwen3guard (безопасность) и другие. Все они работают без генерации токенов — ответ формируется за один проход forward pass. Система совместима с TypeSafe SDK: достаточно указать локальный эндпоинт и ключ, и официальные клиенты работают без изменений. Данные остаются на устройстве — идеально для обработки敏感ной информации вроде писем или тикетов. Ollaya доступна как десктопное приложение, CLI и Docker-образ для macOS, Windows и Linux, с поддержкой NVIDIA GPU через CUDA 13 (драйвер R580+). Установка — одна команда: ollaya run laya. Лицензия Apache-2.0, исходный код на GitHub.

Комментарии (118)

Laya показывает существенно худшую точность по сравнению с Jev (30.25 против 63.29 на jevbench), особенно на сложных запросах, где теряет уверенность и допускает ошибки. Однако она обеспечивает быструю локальную инференцию на слабом железе (например, GTX 970 с 4 ГБ VRAM), что делает её практичной для персонализированного дообучения и использования устаревшего оборудования. Её легко дообучить на собственных данных, что экономически привлекательно для пользователей, готовых потратить время на сбор корпуса. Laya работает приемлемо на простых классификациях (например, 'mans name'), но точность резко падает при усложнении запросов, в то время как Jev сохраняет стабильность. Ollaya — независимый проект, не связанный с Ollama, цель которого — расширять экосистему локальных моделей принятия решений, а не нарушать её. Пользователи отмечают, что примеры Laya слишком узкие (например, 'refund_requested'), и требуется более богатая семантика для реальных сценариев. Jev и Laya оптимизированы для калиброванных вероятностей и RL-обучения, а не являются простыми rerankers. Рекомендуется добавить метрики нулевого выстрела и задержку для объективного сравнения, поддержать CUDA 12, чтобы избежать апгрейда GPU, и рассмотреть использование kime как более быстрого инференс-движка. Некоторые считают, что для многих задач проще дообучить классификатор на собственном eval-наборе, чем использовать Laya/Jev как готовое решение. Также отмечается, что Laya — обёртка вокруг LLM, а не инновация, и что в эпоху LLM большинство «новых» решений — это лишь упаковка существующих подходов. Ollama может добавить поддержку подобных моделей в будущем, что снижает долгосрочную уникальность Laya. Производительность Laya MultiLang vs Laya En остаётся неочевидной — потенциальная область для улучшения.