I built non-autoregressive decision models with RL a year ago

Laya — это семейство открытых моделей для мгновенных структурированных решений (System 1), созданное как альтернатива генеративным LLM для простых классификаций. Оно использует двунаправленные энкодеры и обучение с подкреплением (RLCD) для выдачи честных, калиброванных вероятностей по заданным схемам — без генерации текста. Модели работают за 32.8 мс на одном GPU (7.2 мс/вопрос в батче), что в 6–8 раз быстрее, чем проприетарный аналог Jev от TypeSafe AI, и поддерживают более 100 языков.

Автор разработал похожую идею ещё в марте 2025 года, опубликовав статью, веса, датасет и PyPI-пакет, но позже увидел, как TypeSafe AI представила почти идентичную концепцию под названием Jev — без открытых весов, датасетов или технических статей, но с коммерческой моделью ($0.042 за млн токенов, ~150 мс отклика). В ответ он создал Laya: полностью открытую, быструю и мультиязычную систему для задач вроде маршрутизации тикетов, определения срочности, обнаружения фишинга или оценки риска оттока — всё с честными вероятностями, которые можно использовать напрямую в коде. Все ресурсы доступны на Hugging Face, GitHub и PyPI под лицензией Apache 2.0.

Комментарии (281)

Laya — практичная открытая альтернатива Jev для классификации, но требует дообучения (результат 0.766 после дообучения, базовая модель ~0.35), в отличие от Jev, который работает в zero-shot. Эффективность Laya зависит от дообучения, а не от нулевого шота. Jev удобнее для разработчиков благодаря API и простой настройке; Laya сложна в настройке и не имеет API. Laya использует модели с контекстом 512–1024 токенов, тогда как Jev работает с 32k — критичное ограничение для сложных задач. GLiNER (2023) уже реализовывал похожую архитектуру, что ставит под сомнение новизну Laya. Jev позиционируется как «System One» и «не галлюцинирует», но это маркетинг: обе модели основаны на BERT, разница — в упаковке, а не в технологиях. Laya не может считаться «открытой версией Jev» из-за использования крошечных моделей против позиционирования Jev как «frontier intelligence». Laya полезна для быстрой хостинга модели классификации, но требует дообучения, делая её менее «drop-in», чем Jev с API. Разработчики предпочитают Jev из-за готового API и социального доказательства — не хотят тратить время на сбор данных и инфраструктуру. BERT использовался для подобных задач до Jev и Laya — это переупаковка известных подходов. Для признания открытой работы нужны инструменты, API и документация, как у Jev. Laya может работать на MacBook Pro M5 с 48 ГБ ОЗУ, но лучше использовать облачные GPU (Lambda Labs, RunPod). Подходит для классификации тикетов и логов ошибок, но не для сложных сценариев с рассуждением — там нужны LLM. Некорректно сравнивать Laya и Jev по метрикам, если Jev zero-shot, а Laya требует дообучения. В здравоохранении и с чувствительными данными Laya предпочтительнее — можно хостить локально, Jev требует отправки данных в облако. Laya — не прорыв, а напоминание, что для многих задач достаточно простых быстрых моделей, а не генеративных LLM. Утверждение, что Jev «не галлюцинирует», — маркетинговая уловка: негенерирующие модели не могут галлюцинировать в классическом смысле.