Hacker News Digest

Тег: #mixture-of-experts

Постов: 4

Mistral Large 4 (mistral.ai) 🔥 Горячее 💬 Длинная дискуссия

Mistral Large 4 — это открытая мультимодальная модель с архитектурой Mixture-of-Experts, содержащая 49 миллиардов активных параметров и 1,05 триллиона общих параметров, дополненная 1,6-миллиардным визуальным энкодером. Она поддерживает контекст до 1 миллиона токенов и доступна в публичном превью с 6 октября 2026 года. Модель оптимизирована для высокой производительности и скорости, предлагая структурированные выходы, вызов функций, обработку документов и работу с агентами через API.

Стоимость использования составляет $0,07 за миллион входных токенов (кешированные — $0,07), $2,09 за миллион выходных токенов и $0,68 за миллион токенов в режиме приоритета. Доступны инструменты для батч-обработки, чат-комплектации и интеграции с агентами. Mistral Large 4 позиционируется как универсальное решение для сложных задач, требующих понимания текста и изображений при большом контексте и низкой латентности.

by Philpax • 06 октября 2026 г. в 13:15 • 1904 points

Оригинал • HN

#api#language-model#mistral#mistral-large-4#mixture-of-experts#multimodal

Комментарии (1143)

Mistral Large 4 — стратегический шаг к европейской AI-суверенности. Её производительность в кибербезопасности (82% на CyberGym-E2E) превосходит GLM-5.3 и закрытые модели, а визуальное понимание (42% на Dense 200) сопоставимо с GPT-6 Astra. Точность в аналитических задачах выросла с 58% до 74%, цена на 10x ниже Mistral Medium 3.5. Модель дешевле Kimi K3 и GLM-5.3, но дороже их быстрых версий (например, GLM-5.3-flash), и для оправдания цены должна быть значительно лучше — чего пока не наблюдается. Она уступает GPT-6 Luna по скорости, лаконичности и общей производительности, несмотря на более высокую цену. Обучение на 3800 GPU в Европе показывает, что небольшие кластеры могут конкурировать с моделями, обученными на сотнях тысяч GPU. Mistral Large 4 лучше справляется с французским языком, чем GLM-5.3, что важно для европейских пользователей, соблюдающих GDPR или избегающих китайских поставщиков. Пользователи рекомендуют тестировать через Hermes и Plotly-бенчмарки: реальная эффективность в аналитике и программировании превосходит ожидания, несмотря на низкие общие рейтинги. Есть слабости в вызове инструментов (например, не работает с jq после JSON), что ограничивает применение в сложных workflow. Открытый доступ вызывает опасения роста рисков кибератак. Модель не достигла Pareto-оптимальности, но быстро приближается к ней; RL-финальная версия до конца месяца может изменить баланс. По сравнению с DeepSeek 4.1 Flash — дороже и медленнее, но с лучшей поддержкой европейских языков и этических стандартов. Несмотря на 1,05 трлн параметров, активных всего 49 млрд благодаря Mixture-of-Experts, что делает инференс экономичным. Mistral Large 4 — первая открытая модель с европейским размещением, достаточной производительностью для ежедневного использования и символом альтернативы доминирующим игрокам.

Kolibri: A Sovereign Open-Weight Model (aleph-alpha.com) 🔥 Горячее 💬 Длинная дискуссия

Kolibri — это открытая модель с весами от Aleph Alpha, выпущенная 3 октября 2026 года в День немецкого воссоединения. Это Mixture-of-Experts Transformer с 78 млрд общего числа параметров, из которых активны только 3 млрд, поддерживающий контекст до 1 млн токенов. Модель обучена на английском и немецком языках, специализирована для использования в регулируемых секторах: государственное управление, промышленность и авиация. Доступна на Hugging Face под лицензией Apache 2.0.

Kolibri превосходит свою предшественницу — Kolibri Origin (30B общих, 3B активных параметров, 65k токенов контекста) — благодаря улучшенному пайплайну обучения, включающему автоматическое восстановление после сбоев, сотни ablation-экспериментов и стандартизированный мониторинг. В тестах Kolibri показывает высокие результаты: в HumanEval+ — 94.7%, в LiveCodeBench v6 — 93.8%, в среднем по коду — 94.2%, а в Instruction Following (IFBench) — 81.9%. Для немецкого языка достигнуты сильные показатели, например, 75.0% в CL v4 (web search). Модель оптимизирована для локального развертывания, снижая зависимость от внешних API и обеспечивая суверенитет данных через полную прозрачность цепочки поставок и защиту интеллектуальной собственности. Для запуска требуется пакет aleph-alpha-inference и vLLM с поддержкой fp8 кэша, reasoning и tool-calling. Рекомендуемые параметры сэмплинга: temperature=1.0, top_p=0.97, top_k=128. Для контекстов свыше 262k токенов нужно указать --max-model-len 1048576.

by bastitx • 03 октября 2026 г. в 09:36 • 561 points

Оригинал • HN

#aleph-alpha#aleph-alpha-inference#apache-2.0#huggingface#kolibri#mixture-of-experts#transformer#vllm

Комментарии (311)

Обсуждение характеризует Kolibri как попытку создать контролируемый инструмент ЕС для регулируемых секторов. Беспрецедентной для коммерческих LLM признана открытость Aleph Alpha в описании датасета и методов обучения, включая протокол Merlin-Arthur для борьбы с галлюцинациями. Конкурентоспособность модели вызывает споры: Qwen3.8 27B превосходит Kolibri в немецком языке (79.9 против 70.8), а отсутствие сравнения с Qwen3.8 Flash может быть умышленным. При этом Kolibri эффективна в кодировании и агентных задачах, работает быстро (170 токенов/с на fp8 на RTX Pro 6000), но склонна к избыточному «размышлению». Вопрос «суверенности» остается дискуссионным. Поглощение канадской Cohere одни считают подрывом суверенитета, другие — логичным объединением ресурсов. Сомнения вызывает и использование LLM для перевода текстов в энциклопедический стиль. Для реального суверенитета в госсекторе необходим полный стек (эмбеддинги, ретривер, память), а также открытые, управляемые сообществом тренировочные запуски по аналогии с Debian. Технические особенности: — Ограничение немецким и английским языками может мешать интеграции знаний из других языков. — Собственный токенизатор Aleph Alpha многообещающ, но его эффективность не оценена. — Для локального развертывания 78 млрд параметров требуют значительной памяти; рекомендуется квантование 4/8 бит, так как fp16 не помещается на обычных машинах и Mac. Критическими остаются вопросы соответствия GDPR при обработке данных и общая оценка Aleph Alpha: от обвинений в отсутствии таланта до признания новаторами в создании ИИ-экосистемы ЕС.

DeepSeek V4 Pro 0813 (openrouter.ai) 🔥 Горячее 💬 Длинная дискуссия

Главная идея — DeepSeek V4 Pro 0813 — это первый стабильный релиз модели DeepSeek V4 Pro, построенный по архитектуре Mixture-of-Experts (MoE), которая позволяет эффективно распределять вычисления между специализированными подсистемами. Это делает её мощной, но при этом относительно экономичной в использовании ресурсов.

Ключевые цифры: вход стоит $0.435 за 1М токенов, но реальная средняя цена — всего $0.035, а выход — $0.87 (реально $0.8697), при этом кэширование снижает затраты до 92.7% от списка. Скорость генерации — 59 токенов/сек (P50), а средняя задержка — 1.3 секунды. Важный факт: 91.76% кэш-хитрейт говорит о высокой эффективности повторного использования контекста. Архитектура MoE даёт преимущество в сложных задачах, но требует точного балансирования нагрузки между экспертами.

by explosion-s • 12 августа 2026 г. в 16:04 • 986 points

Оригинал • HN

#deepseek#mixture-of-experts#openrouter#v4-pro

Комментарии (424)

По опыту эксплуатации, DeepSeek V4 Flash 0731 показал значительный рост возможностей при небольшом размере и цене, что вызвало разочарование по поводу выпуска V4 Pro 0813. Некоторые пользователи отмечают, что V4 Pro 0813 уступает Flash по производительности, несмотря на более низкую стоимость; другие — что он достигает равных или лучших результатов, чем предыдущие модели, при сниженной цене. Тесты на одной задаче показали, что V4 Pro 0813 уступает Grok 4.6, но дешевле. В то же время один пользователь успешно применил V4 Pro 0813 для оптимизации трафик-симулятора и распределённого физического движка, получив улучшения без новых проблем. Рекомендуются альтернативы: Kimi-K3, GLM-5.2, Minimax — как модели, эффективные при минимальной стоимости.

Nvidia Nemotron 3.5 Lightning and NeMo Switchyard (blogs.nvidia.com)

Немотрон 3.5 Лайтнинг — это высокая эффективность модели с 30 млрд параметров, построенная на архитектуре Mixture of Experts, предназначенная для длительных агентных задач. Она ускоряет обработку в 4 раза и сокращает время выполнения агентных цепочек на 30% по сравнению с аналогами, при этом сохраняет уровень «предельной» интеллектуальной точности. Благодаря открытости и поддержке NeMo её можно дообучить на собственных данных — для юридических, кибербезопасностных или код-ревью задач.

Немо Свитчард — это инструмент для умного маршрутизации запросов между моделями в составе многоагентных систем. Он позволяет выбирать оптимальную модель под каждый запрос: например, 93% запросов обрабатываются локальными экспертами, а лишь 7% — дорогими фронтенд-моделями. Это снижает затраты на 58–74% и ускоряет работу агентов. Уже используют такие компании, как CrowdStrike, CodeRabbit, Ramp и Siemens, чтобы сократить расходы и повысить производительность в реальных рабочих потоках.

by droidjj • 11 августа 2026 г. в 19:35 • 220 points

Оригинал • HN

#ai-model#coderabbit#crowdstrike#mixture-of-experts#nemo#nemotron#nvidia#ramp#siemens

Комментарии (113)

Тред обсуждает практический опыт использования моделей Nemotron 3.5 Lightning и других моделей в задачах кодирования и обработки естественного языка. Эксперты и пользователи сходятся во мнении, что модели с меньшим числом параметров, включая Nemotron 3.5 Lightning, эффективны и быстры, особенно для ресурсоёмких задач, но могут иметь ограничения в сложных сценариях. Отмечается спорная проблема кэширования: одни пользователи считают её значимой, другие — несущественной. Рекомендуется выбирать модель в зависимости от конкретной задачи.