Mistral Large 4
Mistral выпустила публичную превью-версию Mistral Large 4 — модели на 1 триллион параметров с нативной мультимодальностью и 52 миллиардами активных параметров. Это крупнейшая и самая мощная модель компании, которая, по её заявлению, превосходит все открытые модели, созданные в США и Европе, а в визуальной привязке (visual grounding) обходит даже закрытые фронтирные модели. Веса обещают выложить в конце месяца; до тех пор модель тестируют в реальных условиях совместно с экспертами по кибербезопасности и госорганами, давая им доступ с ослабленной модерацией и расширенными кибер-возможностями.
Модель обучена с нуля на 3800 графических процессорах NVIDIA Grace Blackwell в собственных дата-центрах Mistral в Европе, и превью работает на той же инфраструктуре. В обучении участвовали данные более чем на 160 языках, включая все официальные языки Евросоюза. В кибербезопасности ML4 входит в топ-5 мировых моделей по индексу Artificial Analysis Cyber Index и с большим отрывом лидирует среди открытых моделей, созданных вне Китая. Открытые веса и возможность развёртывания у себя компания подаёт как инструмент цифрового суверенитета: отказ провайдера может заблокировать легитимное исследование уязвимостей или реагирование на инцидент.
Обучение с подкреплением ещё продолжается и не показывает признаков насыщения: при текущем масштабе в 3000 GPU один прогон даёт около 33 млрд токенов в день, из которых примерно 16 млрд пригодны для обучения. ML4 — первый этап плана, финансируемого раундом Series D на 3 млрд евро, крупнейшим в истории европейских технологических компаний; модель станет базой для нового поколения специализированных моделей Mistral.