Hacker News Digest

Jeff — это набор небольших моделей (Qwen3.5 и Gemma 4) до 2B параметров, дообученных для мгновенного zero-shot выбора между вариантами, описанными словами. За один прямой проход они возвращают калиброванные вероятности для каждого варианта без генерации текста или парсинга — около 22 мс на RTX PRO 6000 и 28 мс на Apple M4 Max. Модели подходят для задач вроде маршрутизации запросов, определения намерений или модерации, где категории могут быть произвольными и отсутствовать в обучающих данных.

Точность Jeff близка к Jev, а при дообучении на своих примерах растёт резко: например, в голосовой навигации с 31,7% до 95,8% за полчаса на одной GPU. Обучение проводилось полностью на локальном оборудовании — один RTX PRO 6000 для обучения, синтетические данные от Qwen3.8-Flash-Next на двух DGX Sparks, тесты на MacBook, без закрытых моделей или облачных GPU. Выпущены три версии: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B и Jeff-Gemma4-E2B на Hugging Face, код под MIT, веса — Apache 2.0. Запуск через jeff-serve с поддержкой PyTorch и MLX, запрос — JSON с описанием состояния и списка вопросов типа choice, noul или score.

Тред дополняет статью реальными отзывами: пользователи делятся успешными примерами (быстрый сортировщик файлов), отмечают проблемы с точностью (70 % против 94 % у Jev), обсуждают альтернативы без полного LLM (эмбеддинги + MLP, SVM), задаются вопросами о деталях архитектуры и обучении дома, подчёркивают критическое значение скорости (30 мс) и поднимают этические опасения по поводу массового наблюдения. Пользователь ioma8 создал быстрый сортировщик файлов на основе Jeff, разместил код на GitHub и отмечает, что он работает без проблем. Совет: В сообществе предложили заменить Jeff простым эмбеддером + небольшим MLP или даже SVM для классификации, что достаточно для многих задач. AgentMasterRace сравнил Jeff с Jev и получил лишь 70 % точности против 94 % у Jev, назвав такой уровень неприемлемым для классификации. pan_lid отметил, что 30 мс на 0.8 B модели — это рекордная скорость, тогда как большинство существующих пайплайнов не достигают таких показателей даже с меньшими моделями. velominati предположил, что Jeff не обрабатывает токены последовательно, а использует более эффективный подход, избегая квадратичной сложности O(n2), характерной для LLM. Kvarnek спросил о конфигурации оборудования, использованного для обучения моделей дома, подчёркивая интерес к доступности такого процесса. zeroCalories выразил опасения, что быстрые классификационные модели могут стать основой для массового наблюдения и автономных боевых систем. kdaniel_03 уверен, что локальные модели продолжают улучшаться и в конечном итоге вытеснят необходимость в полном LLM для задач классификации.

Kev — это семейство небольших моделей принятия решений, построенных на базе Qwen3.5 и вдохновлённых архитектурой Jev. Доступны версии 0.8B, 4B и 9B параметров, которые можно запускать локально или дообучать под свои задачи. Модели поддерживают три типа запросов: да/нет (noul), множественный выбор (choice) и оценка (score), все они работают с одним входным текстом, но не видят ответов друг друга. API совместим с TypeSafe System One, что позволяет использовать их Python SDK с локальным сервером.

Модели работают на CUDA, ROCm и Apple Silicon (через MLX); 4B и 9B версии помещаются в 32 ГБ памяти Mac. Есть веб-игровая площадка для тестирования ввода и наблюдения за влиянием порядка вариантов на ответы, доступная в Hugging Face Spaces без установки. Для запуска требуется Python 3.12–3.13 и менеджер пакетов uv. В репозитории есть код для обучения, наборы данных для оценки и тесты, включая проверку через TypeSafe SDK. Лицензия — Apache-2.0, как и у базовых моделей Qwen.

Kev и подобные модели применяются в локальных задачах классификации и принятия решений, но их уникальность по сравнению с Jev ставится под сомнение из-за различий в обучении и качестве. Для классификации с малым числом примеров (50–100) рекомендуется использовать Codex/Claude для создания эмбеддингов + логистической регрессии: модель <1MB, обучение на CPU за 5 минут, точность 95%, инференс <100мс, данные остаются локально. Jev-подобные модели на Qwen3.5 не считаются настоящими Jev, так как Jev обучен на RLCD, а Qwen — на RLHF, что влияет на поведение при принятии решений. Jev-подобные модели могут автоматизировать стилистические правила в фронтенде (React, CSS), устраняя дрейф и дублирование, сокращая рутину разработчиков. Модели размером 0.8B–9B подходят для встраивания в игры как «питомцы»: обработка голосовых команд через STT и локальный инференс для выбора действий NPC. Для фильтрации спама такие модели могут заменить 27B-модели, снижая вычислительные затраты при сохранении высокой точности. На Gemma 4 (12B) достигнута задержка 220 мс на шаг в игре Snake на старом ПК, что указывает на потенциал снижения задержки на более мощных машинах. Прокси-слои между Jev и другими API (например, Frontier) сокращают количество вызовов инструментов на 60%, оптимизируя стоимость и производительность. Jev-подобные модели не имеют принципиального отличия от обычных классификаторов, так как их специфичность определяется обучающими данными, а не архитектурой; открытые альтернативы пока уступают по качеству. Для локального использования моделей с ограниченным knowledge cutoff требуется постоянное дообучение или регулярная смена версий, иначе они устаревают. Jev-подобные модели могут использоваться для автоматической разметки данных, но сравнение их качества с Kev в этой задаче пока неясно. Быстрое появление открытых альтернатив Jev в течение недели после релиза свидетельствует о живом интересе сообщества к простым, локальным моделям принятия решений. Создание Jev-подобных моделей на базе Qwen3.5 может упростить внутреннюю логику маршрутизации в системах, но требует проверки надёжности на критических путях.

Swiftlet — это рантайм на Swift + Metal, позволяющий запускать гибридные модели Qwen3‑Next и Qwen3.5/3.6 MoE на обычных iOS‑устройствах. Вместо того, чтобы держать весь параметр в памяти, в RAM остаётся лишь небольшая плотная «ядровая» часть, а остальные эксперты потоково читаются из хранилища, что делает возможным работу 35‑B и даже 80‑B моделей на iPhone 17 (примерно 2,5 ГБ RAM, 1 токен/сек).

Ключевые приёмы: чтение экспертов через pread в ограниченный пул слотов, выгрузка по LFU + recency, фиксированный stride‑пакетный ввод‑вывод и мгновенная компиляция шейдеров. Архитектурно проект поддерживает альтернативные схемы внимания (Gated DeltaNet, gated GQA), int4/int8‑квантование в Metal и полную систему установки, кэширования и обработки разговоров. В результате на Mac‑е 35‑B модель потребляет лишь 2,6 ГБ RAM и генерирует 7‑11 токен/сек, а 80‑B — 4,3 ГБ и 4,5‑5 токен/сек.

Тред обсуждает запуск крупных моделей на устройствах с ограниченными ресурсами — iPhone и Mac. По опыту @leonickson, на Mac с 32 ГБ RAM увеличение кэша до 8 ГБ не ускоряет работу — узкое место — GPU, а не RAM. @adrianco советует увеличивать RAM-кэш на устройствах с 24–32 ГБ RAM — это может значительно ускорить работу. @dghlsakjg видит в этом прогресс и предполагает будущее запуска моделей на дешёвом оборудовании, например, SSD за $200. @jarek83 и @arjie спорят о реалистичности запуска 1T-параметровых моделей на таком оборудовании, указывая на ограничения и стоимость. @throwawayffffas и @leonickson обсуждают износ SSD при использовании для моделей; @throwawayffffas отмечает, что у него SSD работает долго без проблем.