DeepInfer: High-performance inference framework for DeepSeek models
DeepSeek открыла исходный код DeepInfer — высокопроизводительного фреймворка вывода, на котором работают её крупномасштабные продакшен-сервисы. Релиз ориентирован на офлайн-вывод и включает ключевые возможности для обслуживания под нагрузкой. Поддерживается пока одна модель — DeepSeek-V4.1-Flash. Среди заявленных функций: оптимизированные ядра (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и собственные ядра на TileLang), параллелизм Attention DP и MoE EP с балансировкой EPLB, механизм DSpark с проверкой по оценке уверенности, асинхронное планирование батчей без накладных расходов, инвариантность к составу батча и детерминированная генерация.
Отдельно стоит отметить ограниченный реплей SWA: для модели V4.1 по умолчанию сохраняются лишь 140 токенов суффикса, что сокращает работу на этапе prefill. Структурированный вывод поддерживает регулярные выражения, JSON-схемы и грамматики EBNF. Аппаратно фреймворк работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Для полного сервиса вывода потребуются система KV-кэша, разделение этапов VE/Prefill/Decode и балансировка нагрузки между репликами — эти компоненты в релиз не вошли. Код распространяется под лицензией Apache 2.0, а за основу изначально был взят проект vLLM.