Hacker News Digest

Cloudflare представила Clef и Clef-flash — открытые модели принятия решений, совместимые с Jev-API и лицензированные под Apache 2.0. Clef лидирует в Jev Decision Index, обеспечивая быстрые, детерминированные и структурированные выводы, в отличие от неопределённых LLM. Модели доступны на Workers AI и Hugging Face, позволяя локальное использование и эксперименты. Clef классифицирует входные данные с вероятностями — например, определяет, является ли домен модным сайтом (95%), интернет-магазином (85%) или фишингом (<1%) — за 2,2 секунды, в два раза быстрее, чем gpt-oss-120b (4,7 с), и выдаёт больше категорий. Это ускоряет рабочие процессы, такие как анализ угроз в Threat Intelligence team, где модели автоматически categorize домены для принятия решений без участия человека.

Кроме того, Cloudflare запустила платформу тонкой настройки на основе reinforcement learning (RL), позволяющую адаптировать Clef под конкретные задачи. Платформа включает AI Gateway для сбора данных запросов, Workers AI для генерации rollout’ов, Containers как RL-песочницу для оценки действий, Trainer для обновления весов и возможность redeploy fine-tuned модели на Workers AI через BYO Model. Эта интеграция использует недавно приобретённые технологии из Replicate и направлена на создание автономных агентных workflows, где модели решают, рассуждают и действуют программно. Cloudflare позиционирует Clef как часть своей миссии «agent cloud» и приглашает клиентов стать дизайн-партнёрами для совместной разработки.

Тред добавляет практические данные о стоимости и производительности Clef, опровергает заявленную детерминированность, уточняет степень открытости модели и предлагает варианты использования и самостоятельного развертывания. Clef стоит $0.24 за миллион входных токенов — примерно в 6 раз дороже Jev ($0.042). Clef‐flash стоит $0.09, что делает её более конкурентоспособной. По измерениям @nikcub, Clef в 5,2 раза дороже Jev, имеет большую задержку (p50 ≈ 350 мс против 1,9 с у Jev) и лишь незначительно хуже точности (78,6 % vs 79,8 %). Совет: из‐за высокой цены рекомендуется самостоятельно развернуть Clef, если есть ресурсы, чтобы избежать расходов на облако. Хотя лицензия на веса permissive, данные и пайплайн обучения не опубликованы, поэтому модель нельзя считать полностью открытой. Спор: противоречие с заявлением о детерминированности — повторные вызовы модели могут давать разные решения, как у LLM с структурированным выводом (замечание @meander_water). Clef поддерживает ввод изображений (замечание @swingboy). Модели основаны на Qwen3.8‐27B (Clef) и Qwen3.5‐9B (Clef‐flash) (по @bityard). Многие разработчики создали свои модели‐решатели за несколько недель после выхода Jev, что указывает на относительную простоту копирования идеи. Совет: пользователь @swe_dima просит опубликовать бенчмарки визуальных задач для оценки возможностей модели. Совет: возможное применение Clef — интеграция в правила WAF Cloudflare, но текущая стоимость может сделать это невыгодным. Совет: для локального тестирования можно искать Jev‐подобные модели для Mac через Ollama или дешёвые API (предложение @croemer). Совет: для ускорения решений требуется исследовать более дешёвые и быстрые архитектуры — например, челлендж @fooker с 1 М токенов за 50‐100 мс.

Nvidia официально согласился купить открытую платформу искусственного интеллекта Hugging Face за 12,9 миллиарда долларов, что станет второй по величине сделкой в истории компании после приобретения активов Groq за 20 миллиардов долларов в декабре 2025 года. Сделка подтверждает стратегию Nvidia по выходу закрепиться не только как производитель чипов, но и как ключевой игрок в верхних слоях стека ИИ, обеспечивая доступ к моделям и инструментам для разработчиков по всему миру. Как заявил CEO Nvidia Дженсен Хуанг в блоге, Hugging Face останется открытой платформой для всей экосистемы ИИ, а сотрудничество позволит усилить инфраструктуру и расширить доступ к технологиям.

CEO Hugging Face Клеман Дела́нгюэ рассказал CNBC, что инициатива о сделке исходила от его компании летом, когда они осознали, что открытый ИИ достиг переломного момента и нуждается в больших ресурсах, масштабе и видимости. Он назвал Nvidia «идеальным домом» для Hugging Face, отметив, что переговоры шли быстро. Дела́нгюэ также связал недавний взлом платформы с инженерными ошибками и подчеркнул, что инцидент подтвердил важность открытых моделей: по его словам, сообщество защитников в открытой экосистеме обладает «асимметричным преимуществом» перед атакующими, так как их значительно больше, и они могут прозрачно сотрудничать. Nvidia планирует использовать эту синергию для укрепления безопасности и развития открытого ИИ.

Тред добавляет детали о реальной ценности Hugging Face как инфраструктурного сервиса, сложности привлечения капитала без доходов, потенциальных конфликтов интересов Nvidia и сравнения с предыдущими крупными поглощениями, а также подчеркивает технические и рыночные барьеры для копирования платформы.

• Hugging Face ценится за то, что является основной площадкой для хостинга моделей, имеет большую аудиторию, данные и предоставляет сервисы инференса, что объясняет многомиллиардную оценку.

• Спор: Некоторые считают, что Nvidia инвестирует в конкурирующие закрытые модели и это конфликт интересов, в то время как другие утверждают, что такие инвестиции не конфликтуют и Nvidia выгодно позиционируется независимо от модели.

• Привлечь финансирование для компании без доходов и без крупных GPU‐контрактов крайне сложно, поэтому основатели могут предпочесть выйти через продажу.

• Сделка сравнивается с покупкой Docker Hub в 2018‐м году, показывая, что оценки компаний инфраструктуры AI находятся на уровне десятков миллиардов долларов.

• Запустить аналог Hugging Face с нуля требует огромных вложений в сеть, хранение и пропускную способность; простое копирование сайта невозможно без значительных ресурсов.

• Многие видят в покупке выход для команды Hugging Face, которая долго искала бизнес‐модель и теперь получает «что‐то лучше» в виде крупного выкупа.

• Спор: Некоторые опасаются, что покупка европейской AI‐компании Nvidia подрывает технологический суверенитет Европы, в то время как другие считают, что это обычная глобальная консолидация.

• Согласно аналитикам, цель Nvidia – стать не только поставщиком чипов, но и ключевым игроком в верхних слоях AI‐стека, контролируя распределение и создание данных.

• Некоторые пользователи считают новость повторением уже объявленного ранее, указывая, что информация уже была в публичных источниках.

• Комментарий «There goes the neighborhood» отражает ощущение, что крупные поглощения меняют ландшафт рынка и вытесняют независимых игроков.

• Пользователи выражают недовольство постоянным «циклoм» выкупа компаний среднего размера, считая его вредным для потребителей и инноваций.

• Некоторые считают, что Nvidia обещает ускорить открытый исходный код, но скептически относятся к реальной открытости будущих продуктов.

My understanding of Hugging Face is limited to "File Host with Model Cards". Can someone with more understanding explain what the $12 billion value comes from? — @corysama

Исследователи показали, что закрытые модели ИИ — такие как Claude Opus, GPT-4 и Gemini — раскрывают свои внутренние цепочки рассуждений через зашифрованные «следы», которые API возвращает клиенту. Эти следы можно переносить между сессиями и моделями: если вставить их в более слабую, но взломанную версию той же модели (например, Claude Haiku), она расшифровывает и воспроизводит рассуждения сильной модели в открытом виде — без прямого доступа к ней и обходя все меры защиты от дистилляции. В экспериментах на 120 задачах из Codeforces восстановленные цепочки точно совпадали с числом скрытых токенов, заявленных API.

В расшифрованных следах обнаружены чувствительные данные: 64 из 704 утечек (включая API-ключи, пароли, токены GitHub и Hugging Face, email, паспорта, номера карт и внутренние URL) присутствовали только в рассуждениях, а не в видимом ответе. Например, в одном случае был восстановлен полный бронь авиабилета — имя, паспорт, карта, предпочтения — всё внутри «мышления» модели. Это означает, что даже при отсутствии явного вывода конфиденциальных данных, они могут утекать через скрытые логи рассуждений, что ставит под угрозу безопасность и конфиденциальность пользователей.

Тред дополняет статью опытом эксплуатации уязвимости, возражениями против термина «stealing» и обсуждением последствий для безопасности и доверия к ИИ-моделям. Термин «stealing» неуместен: пользователи оплатили токены и имеют право на доступ к информации, сгенерированной с их участием. Спор: одни считают уязвимость незначительной, так как её можно исправить шифрованием данных на сервере; другие — что это серьёзная угроза, позволяющая атаковать модели ИИ, включая «fake thinking» — манипуляцию выводами модели с использованием извлечённых данных. Рекомендация: разработчикам необходимо исправить уязвимость, обеспечить безопасность данных и быть прозрачными в использовании и обработке пользовательской информации. Последствия уязвимости — угроза безопасности и доверию к ИИ — требуют срочных мер для предотвращения атак.

Inkling — это открытая модель с полными весами, разработанная Thinking Machines, которая сочетает в себе 975 млрд параметров (41 млрд активных) и поддерживает контекст до 1 млн токенов. Обучена на 45 трлн токенов текста, изображений, аудио и видео, она является мультимодальной и оптимизирована для эффективного мышления: модель сознательно балансирует между качеством и стоимостью вычислений. В отличие от лидеров по точности, Inkling позиционируется как универсальная основа для кастомизации — сильная в широком спектре задач: кодировании, агентных сценариях, понимании изображений и аудио, а также соблюдении достоверности и безопасности.

Для удобства адаптации модель доступна через платформу Tinker с интерфейсом Inkling Playground для экспериментов, а также поддерживает fine-tuning через готовые рецепты и инструменты вроде tml-renderer. Её веса опубликованы на Hugging Face, включая оптимизированную версию для NVIDIA Blackwell. Партнёры вроде Together, Fireworks, vLLM, llama.cpp и Hugging Face обеспечивают широкую совместимость. Одновременно выпущена упрощённая версия Inkling-Small (12 млрд активных параметров) для низколатентных задач. Это первый шаг в семействе моделей, созданных для того, чтобы пользователи могли делать их своими — не просто использовать, а перестраивать.

Тред подтверждает, что Inkling — это перспективная мультимодальная модель с открытыми весами, которая может быть конкурентоспособной на рынке open-weight моделей, но её возможности и ограничения ещё требуют практического тестирования и сравнения.

• Inkling может быть сильным конкурентом среди open-weight моделей, особенно в задачах, где важна мультимодальность и эффективность вычислений.

• Спор: Некоторые пользователи сомневаются в конкурентоспособности Inkling по сравнению с другими моделями, такими как GLM5.2 и DeepSeek, в то время как другие считают, что она имеет потенциал благодаря своей мультимодальности и эффективности.

• Совет: Пользователи советуют обратить внимание на возможность тонкой настройки Inkling для конкретных задач, что может сделать её более эффективной и экономически выгодной.

• Inkling — это важный шаг в развитии open-weight моделей, и её появление может стимулировать дальнейшее развитие и конкуренцию на рынке.

• Спор: Некоторые пользователи обсуждают licensing модель и доступность весов для Inkling, что может повлиять на её использование и распространение.

Open base models that can be fine tuned on Tinker is a great business model IMO. You (i.e. an enterprise) can own your own model & have it perform frontier-or-better at your task at potentially much lower cost and Thinking Machines gets to be your essential infra/service provider in this world. — @wxw

Сегодня анонсирован Bonsai 27B — модель на 27 млрд параметров, основанная на Qwen3.6 27B, впервые способная полностью работать на смартфоне. Существует две версии: трёночная (ternary) с весами {−1,0,+1} и 1‑битовая, использующие групповой масштабирование FP16. Трёночная модель занимает 5,9 ГБ, 1‑битовая — 3,9 ГБ и помещается в память iPhone 17 Pro, при этом сохраняет весь набор функций: мультишаговое рассуждение, вызов инструментов, агентные циклы и мультимодальный vision‑токен. Оба варианта поддерживают 262 K‑токенный контекст, спекулятивное декодирование и полностью работают в низкой точности без перехода в более высокие форматы.

По оценкам на 15‑балльном наборе тестов, включая математику, программирование, вызовы инструментов и визуальные задачи, трёночная версия удерживает 95 % точности полной модели, а 1‑битовая — 90 %. Показатель «интеллектуальной плотности» достигает 0,53 единиц на гигабайт, в 10 раз превышая полноразрядный аналог и в 2,7 раза лучше лучших традиционных низко‑битовых схем. 1‑битовый вариант почти не отстаёт от полной версии в задачах рассуждения и кодирования, а его память в 2,5 раза меньше, чем у самых агрессивных обычных низко‑битовых построек. Весь набор весов доступен по лицензии Apache 2.0, поддерживается MLX на Apple‑устройствах и CUDA на NVIDIA‑GPU, а бесплатный API‑превью уже открыт для разработчиков.

• Bonsai 27B с квантованием до 1–1.58 бит показывает впечатляющую производительность на CPU и мобильных устройствах, конкурируя с более крупными моделями.
• Пользователи отмечают значительное падение в задачах вызова инструментов и странности в ответах (например, неверные макронутриенты), что ставит под сомнение практическую надёжность.
• Инфраструктура для инференса на CPU (llama.cpp, bitnet.cpp) пока не оптимизирована для тернарных моделей, что снижает скорость по сравнению с Q4-квантованными аналогами.
• Мнения разделились: одни видят в этом сдвиг парадигмы к локальным ИИ, другие считают результаты переоценёнными или искусственными, особенно из-за сильного квантования.
• Открытые модели доступны на Hugging Face, но многие инструменты (LM Studio, Ollama) пока не поддерживают их, требуя обновлений или кастомных сборок.

Kimi K2 Thinking — это новая модель от компании 01.AI, демонстрирующая впечатляющие способности в обработке длинных текстов. Модель способна анализировать документы до 128K токенов, что в 8 раз превышает возможности предыдущей версии. Это позволяет ей эффективно работать с целыми книгами, юридическими документами и научными исследованиями за один проход.

Разработчики подчеркивают, что K2 Thinking превосходит конкурентов в задачах, требующих глубокого понимания контекста, особенно на китайском языке. Тесты показывают, что модель достигает 90% точности в сложных аналитических задачах, что делает её одной из самых мощных на рынке. В то же время, компания заявляет о более эффективном использовании вычислительных ресурсов по сравнению с аналогами.

• Китайские компании (Moonshot, DeepSeek, Qwen, GLM) за последние месяцы выпустили ряд открытых моделей, что ставит под сомнение привычное представление о том, что «открытый исходный код» — это западная практика.
• Модель Kimi K2 Thinking показала себя как наилучшая в своем классе, превосходя GPT-4.5 и Claude 3.5 Sonnet, и при этом доступна через OpenRouter и Hugging Face.
• Несмотря на то, что модель не является открытой, Moonshot AI предоставляет доступ к ней бесплатно, что вызывает вопросы о финансировании и стратегии.
• Появление столь мощных открытых моделей вызывает вопросы о том, как они будут использоваться и как это повлияет на рынок ИИ.

EuroLLM — европейская языковая модель, поддерживающая все 24 официальных языка ЕС. Проект представляет две модели: EuroLLM-9B с 9 миллиардами параметров, обученную на более чем 4 триллионах токенов на 35 языках, и EuroLLM-1.7B, оптимизированную для работы на периферийных устройствах. Обе модели открыты для использования и доступны на Hugging Face. Проект получил поддержку от Horizon Europe, Европейского исследовательского совета и EuroHPC, а обучение проводилось на суперкомпьютере MareNostrum 5.

Команда EuroLLM, включающая исследователей из Университета Эдинбурга, Instituto Superior Técnico и других ведущих европейских институтов, стремится укрепить цифровый суверенитет ЕС и стимулировать инновации в области ИИ. В будущем планируется добавить мультимодальные возможности — обработку изображений и речи. Проект позиционируется как "механизм инноваций", предоставляя европейским исследователям и организациям доступ к отечественной LLM для дальнейшего развития.

• Европейский проект EuroLLM-9B представляет собой модель 9B параметров, обученную на 24 официальных языках ЕС, но не раскрывает детали обучения и не предоставляет доступ к датасету.
• Модель демонстрирует слабые результаты на бенчмарках и не может конкурировать с лучшими моделями, но при этом требует согласие на сбор персональных данных для доступа к весам.
• Проект финансируется из бюджета ЕС в размере 50 миллионов евро, но при этом не предоставляет никаких выгод для европейских стартапов и компаний в отличии от американских и китайских моделей.
• Появление EuroLLM-9B вызвало широкое обсуждение в сообществе, так как она не может конкурировать с другими моделями и не предоставляет никаких преимуществ для европейских пользователей.

Открытые модели OpenAI

Продвинутые модели с открытыми весами для любого кейса и запуска где угодно.

Ссылки:

• Загрузить на Hugging Face
• Исходники на GitHub
• Попробовать демо

Модели:

• gpt-oss-120b — крупная модель для дата-центров и мощных ПК/ноутбуков.
• gpt-oss-20b — средняя модель, работает на большинстве ПК/ноутбуков.

Преимущества:

• Разрешительная лицензия: Apache 2.0 — свободная разработка, без копилефта и патентных рисков; подходит для экспериментов, кастомизации и коммерческого использования.
• Для агентных задач: сильное следование инструкциям и работа с инструментами в ходе рассуждений (веб-поиск, запуск Python-кода).
• Глубокая настраиваемость: выбор уровня «усилия рассуждений» (низкий/средний/высокий) и полно-параметрический финтюнинг под ваш кейс.
• Полная «цепочка рассуждений»: доступна для удобной отладки и повышения доверия к ответам.

Интерактивное демо:

• Простой playground для запуска обеих моделей в браузере.

• Обсуждение посвящено выходу открытых моделей OpenAI gpt-oss (20B и 120B), которые по бенчмаркам близки к o3/o4-mini и местами обгоняют открытые лидеры; многие отмечают, что 20B уже реально запускается локально на Mac/мобильных устройствах.
• Пользователи делятся первыми впечатлениями и ссылками на обзоры/модель-карты, отмечая конкурентную производительность, совместимый токенайзер и адекватное лицензирование; есть поддержка в llama.cpp, Ollama, LM Studio, Harmony формат ответов и растущая роль Rust в инструментах OpenAI.
• Скорости инференса сильно варьируются: от очень быстрых облачных провайдеров (Cerebras/Groq на OpenRouter) до заметных задержек локально при больших контекстах; производительность зависит от GPU/платформы и параметров квантования.
• Отмечают стратегический сдвиг OpenAI к модели Meta: открытые веса как средство захвата экосистемы и снижения порога входа; звучат предположения, что релиз предвосхищает скорый анонс ещё более сильной закрытой модели.
• Сообщество обсуждает экономику: гибридные пайплайны (локально — простые задачи, в облако — сложные), возможность заменять платные подписки локальным запуском, и общий тренд в пользу OSS при минимальной разнице в качестве.
• Есть критика: у 120B встречаются галлюцинации на фактах, часть пользователей недовольна агрессивной безопасностью/отказами, отсутствием оптимизаций под RTX 50, а также неполной мультимодальностью.
• В целом настроение позитивное: многие благодарят за «настоящий» открытый релиз с сопутствующими инструментами и ожидают независимых бенчмарков, которые могут закрепить лидерство gpt-oss среди текстовых открытых моделей.