Timestral: Mistral's time-series foundation models
Mistral выпустила Timestral — первое семейство фундаментальных моделей для временных рядов. Крупнейшая версия всего на 209 млн параметров занимает первое место на трёх главных публичных бенчмарках — GIFT-Eval, TIME и fev-bench, — обходя предыдущее состояние искусства при двух третях его размера. Модель даёт вероятностные многомерные прогнозы и поддерживает как прошлые, так и известные будущие ковариаты. Семейство включает четыре размера — 5M, 28M, 123M и 209M параметров, — и каждая версия лежит на границе Парето по точности и размеру.
В основе — синтетическое предобучение, внимание с учётом ковариат и обучение на длинном контексте в 32 768 шагов; целевая функция — pinball loss по 21 квантилю, дискретная аппроксимация CRPS. Модель работает без GPU: на серверном CPU с восемью потоками прогноз на день вперёд по трёхнедельной истории с 15-минутным шагом занимает 10 мс с версией 5M. Версия на 28M обходит Chronos-2, примерно вчетверо большую, а 209M — TimesFM-3 и Falcon-2.0 при меньшем числе параметров. Дообучение под домен доступно через Mistral Forge с развёртыванием на оборудовании клиента вплоть до изолированных сред; код открыт на GitHub под модифицированной лицензией MIT.