Jev in 25 Lines of Python
Jev — это простой способ классификации текста с использованием локальной GGUF-модели за 25 строк Python. Автор демонстрирует, как загрузить модель Qwen3-0.6B-GGUF через llama-cpp-python, сформировать промпт с вариантами ответов (A/B/C → Legitimate/Spam/Phishing) и извлечь логиты для последнего токена. Затем логиты преобразуются в вероятности через softmax-подобную операцию: вычитается log-sum-exp для получения логарифмических вероятностей, после чего экспонента даёт нормализованные вероятности. В примере модель оценивает email как фишинг с вероятностью 88.5%, спам — 8.4%, легитимный — 3.1%. Автор подчёркивает, что это пародия на концепцию «Jev» как System One модели: здесь нет вызова API, генерации синтетических данных, обучения с RLCD или калибровки — только локальная инференция. Преимущества подхода: скорость, конфиденциальность (данные не уходят с устройства) и простота. В конце отмечается, что настоящие открытые реализации Jev доступны в проектах OpenJev, openjev-sglang и других, а код NobodyWho открыт и поддерживается сообществом.