Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms
Jeff — это набор небольших моделей (Qwen3.5 и Gemma 4) до 2B параметров, дообученных для мгновенного zero-shot выбора между вариантами, описанными словами. За один прямой проход они возвращают калиброванные вероятности для каждого варианта без генерации текста или парсинга — около 22 мс на RTX PRO 6000 и 28 мс на Apple M4 Max. Модели подходят для задач вроде маршрутизации запросов, определения намерений или модерации, где категории могут быть произвольными и отсутствовать в обучающих данных.
Точность Jeff близка к Jev, а при дообучении на своих примерах растёт резко: например, в голосовой навигации с 31,7% до 95,8% за полчаса на одной GPU. Обучение проводилось полностью на локальном оборудовании — один RTX PRO 6000 для обучения, синтетические данные от Qwen3.8-Flash-Next на двух DGX Sparks, тесты на MacBook, без закрытых моделей или облачных GPU. Выпущены три версии: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B и Jeff-Gemma4-E2B на Hugging Face, код под MIT, веса — Apache 2.0. Запуск через jeff-serve с поддержкой PyTorch и MLX, запрос — JSON с описанием состояния и списка вопросов типа choice, noul или score.