Hacker News Digest

Cloudflare представила Clef и Clef-flash — открытые модели принятия решений, совместимые с Jev-API и лицензированные под Apache 2.0. Clef лидирует в Jev Decision Index, обеспечивая быстрые, детерминированные и структурированные выводы, в отличие от неопределённых LLM. Модели доступны на Workers AI и Hugging Face, позволяя локальное использование и эксперименты. Clef классифицирует входные данные с вероятностями — например, определяет, является ли домен модным сайтом (95%), интернет-магазином (85%) или фишингом (<1%) — за 2,2 секунды, в два раза быстрее, чем gpt-oss-120b (4,7 с), и выдаёт больше категорий. Это ускоряет рабочие процессы, такие как анализ угроз в Threat Intelligence team, где модели автоматически categorize домены для принятия решений без участия человека.

Кроме того, Cloudflare запустила платформу тонкой настройки на основе reinforcement learning (RL), позволяющую адаптировать Clef под конкретные задачи. Платформа включает AI Gateway для сбора данных запросов, Workers AI для генерации rollout’ов, Containers как RL-песочницу для оценки действий, Trainer для обновления весов и возможность redeploy fine-tuned модели на Workers AI через BYO Model. Эта интеграция использует недавно приобретённые технологии из Replicate и направлена на создание автономных агентных workflows, где модели решают, рассуждают и действуют программно. Cloudflare позиционирует Clef как часть своей миссии «agent cloud» и приглашает клиентов стать дизайн-партнёрами для совместной разработки.

Тред добавляет практические данные о стоимости и производительности Clef, опровергает заявленную детерминированность, уточняет степень открытости модели и предлагает варианты использования и самостоятельного развертывания. Clef стоит $0.24 за миллион входных токенов — примерно в 6 раз дороже Jev ($0.042). Clef‐flash стоит $0.09, что делает её более конкурентоспособной. По измерениям @nikcub, Clef в 5,2 раза дороже Jev, имеет большую задержку (p50 ≈ 350 мс против 1,9 с у Jev) и лишь незначительно хуже точности (78,6 % vs 79,8 %). Совет: из‐за высокой цены рекомендуется самостоятельно развернуть Clef, если есть ресурсы, чтобы избежать расходов на облако. Хотя лицензия на веса permissive, данные и пайплайн обучения не опубликованы, поэтому модель нельзя считать полностью открытой. Спор: противоречие с заявлением о детерминированности — повторные вызовы модели могут давать разные решения, как у LLM с структурированным выводом (замечание @meander_water). Clef поддерживает ввод изображений (замечание @swingboy). Модели основаны на Qwen3.8‐27B (Clef) и Qwen3.5‐9B (Clef‐flash) (по @bityard). Многие разработчики создали свои модели‐решатели за несколько недель после выхода Jev, что указывает на относительную простоту копирования идеи. Совет: пользователь @swe_dima просит опубликовать бенчмарки визуальных задач для оценки возможностей модели. Совет: возможное применение Clef — интеграция в правила WAF Cloudflare, но текущая стоимость может сделать это невыгодным. Совет: для локального тестирования можно искать Jev‐подобные модели для Mac через Ollama или дешёвые API (предложение @croemer). Совет: для ускорения решений требуется исследовать более дешёвые и быстрые архитектуры — например, челлендж @fooker с 1 М токенов за 50‐100 мс.

OpenAI выложила первые открытые веса: gpt-oss-120b и gpt-oss-20b. Модели хороши в бенчмарках, но проваливают SimpleQA и бедны на поп-культуру. Это, по сути, Phi-5.

Почему Phi?

Себастьян Бубек в Microsoft создал серию Phi, обучаясь исключительно на синтетике: высококачественные, но дорогие токены. Результат — отличные цифры в тестах и слабая практика, потому что «учили к экзамену». В конце 2024-го Бубек ушёл в OpenAI, и новые gpt-oss, судя по всему, построены на той же идее.

Зачем синтетика?

Безопасность. Открытый вес нельзя отозвать, а сообщество быстро стриптизирует модель под эротические ролевые игры. Синтетические данные позволяют заранее заложить отказы и избежать скандалов. OpenAI не нужно, чтобы модель была полезна в проде — достаточно победить китайские открытые веса в таблицах.

Итог: gpt-oss — это Phi-5 и Phi-5-mini, созданные ради безопасности и рекламных графиков.

• Модель GPT-OSS из-за жёстких «сейфти-фильтров» отказывается переводить даже безобидные романтические сцены с 17-летними персонажами.
• Пользователи жалуются, что цензура мешает повседневным задачам: переводам, переписке, написанию детских историй.
• Некоторые считают главной причиной отказа от полного open-source именно страх перед тонкой настройкой моделей для эротического ролеплея.
• Другие подтверждают: в локальных сообществах «первертов» действительно много, но это далеко не единственный сценарий использования.
• В итоге часть аудитории уходит на «аблитерированные» Llama и прочие неконтролируемые модели.

• В день выхода открытой модели вроде gpt-oss-120b мы сразу ускоряем её для клиентов, как партнёры запуска OpenAI. К концу дня запуска стали лидерами на NVIDIA по латентности и пропускной способности по данным OpenRouter.

• Быстрая оптимизация обеспечена гибким стеком инференса и экспертизой команды; за время написания поста прибавили ещё ~100 ток/с при 100% аптайме.

• Работы включали:

  • Тесты и бенчмарки в TensorRT-LLM, vLLM и SGLang.
  • Совместимость с архитектурами Hopper и Blackwell.
  • Интеграцию с нашим стеком (в т. ч. NVIDIA Dynamo).
  • Оптимизации: маршрутизация с учётом KV-кэша, спекулятивная генерация с Eagle.

Шаг 1: Первый инференс

• Запускаем базовый инференс в любом доступном фреймворке и на нужных GPU/серверных уровнях.
• Параллелим работу: одни пробуют vLLM и SGLang, другие — TensorRT-LLM; быстрее всего взлетел TensorRT-LLM.
• Важно обслуживать модель и на Hopper (H100), и на Blackwell (B200) для широкой доступности и максимальной скорости.
• Гибкость рантайма позволяет быстро переключать инструменты и обновлять матрицу поддержки.

Шаг 2: Исправление багов совместимости

• Новые архитектуры приводят к тонким несовместимостям; GPT OSS добавил, например, Harmony — новый формат ответов.
• Итеративно чиним и валидируем на скорость и корректность; по возможности контрибутим обратно в open source.
• Благодаря сообществу есть несколько отличных путей запуска GPT OSS, проблемы быстро выявляются и чинятся.

Шаг 3: Оптимизация конфигурации

• Хотя GPT OSS 120B можно запустить на одном H100, оптимально масштабировать на 4–8 GPU для лучшей латентности/throughput.
• Рассмотрены два подхода параллелизма для MoE: тензорный и экспертный. Тензорный даёт меньшую задержку, экспертный — выше системную пропускную способность. Мы выбрали тензорный, так как приоритет — латентность.
• Приняли MoE Backend в TensorRT-LLM (поддерживается на Blackwell, не на Hopper), который добавляет более быстрые CUDA-ядра и превосходит предыдущие решения.

• Обсуждение крутится вокруг запуска и производительности GPT-OSS (20B/120B) на разном железе: от MacBook M-серии и RTX 4090/3050 до датацентровых H100/Blackwell и даже CPU.
• Многие отмечают, что скорость хороша при малых контекстах; при >10k токенов начинается существенная деградация скорости и рост задержек, особенно без MCP/веб-доступа.
• TensorRT-LLM часто даёт лучшую латентность/пропускную способность, но сложен в настройке; альтернативы вроде vLLM/SGLang проще, Llama/Оllama позволяют быстро поднять 20B локально и даже распределить по старым GPU.
• Идут споры о “доступности” H100: купить дорого, но аренда широко доступна и выгоднее для нерегулярных нагрузок; при этом Blackwell с FP4 обещает ещё больший буст, в экосистеме Rust добавляют FP8/FP4.
• Пользователи спрашивают про требования к VRAM, практичную локальную агентную разработку на потребительских GPU, и оптимальные настройки на Mac (например, iogpu.wired_limit_mb).
• Обсуждают техники ускорения (спекулятивное декодирование — вызывающее вопросы пользы), причины падения токен/с при длинных диалогах, и различие prefill vs decode по узким местам.
• Наряду с похвалами скорости есть критика: сложность стеков, неточности/галлюцинации ответов, «извиняльный» контент, и вопрос — зачем OpenAI выпускает OSS-модели и как это соотносится с доступностью железа.