Hacker News Digest

DeepSeek открыла исходный код DeepInfer — высокопроизводительного фреймворка вывода, на котором работают её крупномасштабные продакшен-сервисы. Релиз ориентирован на офлайн-вывод и включает ключевые возможности для обслуживания под нагрузкой. Поддерживается пока одна модель — DeepSeek-V4.1-Flash. Среди заявленных функций: оптимизированные ядра (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и собственные ядра на TileLang), параллелизм Attention DP и MoE EP с балансировкой EPLB, механизм DSpark с проверкой по оценке уверенности, асинхронное планирование батчей без накладных расходов, инвариантность к составу батча и детерминированная генерация.

Отдельно стоит отметить ограниченный реплей SWA: для модели V4.1 по умолчанию сохраняются лишь 140 токенов суффикса, что сокращает работу на этапе prefill. Структурированный вывод поддерживает регулярные выражения, JSON-схемы и грамматики EBNF. Аппаратно фреймворк работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Для полного сервиса вывода потребуются система KV-кэша, разделение этапов VE/Prefill/Decode и балансировка нагрузки между репликами — эти компоненты в релиз не вошли. Код распространяется под лицензией Apache 2.0, а за основу изначально был взят проект vLLM.

Обсуждение сместилось с технических деталей на геополитику и экономику: DeepSeek может подорвать монополию Nvidia, поддерживая чипы Huawei Ascend. Релиз DeepInfer расценивают как тактический ответ на запрет продуктов DeepSeek в правительстве США (DHS Order #2026-01) для обхода ограничений. Открытый код для NPU Huawei Ascend может ослабить позиции Nvidia, если стек станет массовым в малых лабораториях. Однако @seamossfet считает, что регуляции и таможенный контроль в США и ЕС нивелируют эту угрозу. Мнения о влиянии релиза разделились: одни видят удар по капитализации OpenAI и Anthropic из-за снижения стоимости вывода, другие (@ryno364) не считают это переломным моментом, так как веса уже были открыты. Появление DeepInfer может снизить цены на API у мелких хостинг-провайдеров (например, OpenRouter) за счет снижения порога входа в высокопроизводительный хостинг. Технические данные: — Пропускная способность одного кластера — 155 трлн токенов в день, выручка вне пика — $38 на карту в час (@schneehertz, @GreenWatermelon). — В релизе нет полноценной системы KV-кэширования (_aavaa_, @dangoodmanUT). — По опыту @VonLuderitz, модель V4.1 Flash работает быстрее и эффективнее Claude Max, имея меньше ограничений.

Intel представила GPU D270 — ускоритель для дата-центров, оптимизированный под инференс, а не обучение. Ключевая идея: агентные ИИ-нагрузки читают гораздо больше, чем пишут, порождая длинные контексты, многошаговые рабочие процессы и доминирование этапа prefill. D270 рассчитан именно на это: до 480 ГБ памяти LPDDR5X на карту, 32 ядра Xᵉ3P, 256 матричных движков XMX и энергопотребление 350 Вт с воздушным охлаждением. Память здесь заменяет дорогую HBM, позволяя держать больше модели и контекста резидентно.

Плата построена на стандартном PCIe 5.0 и пассивном охлаждении — без проприетарных сетей и переделки стоек под жидкостное охлаждение. Площадь кристалла перераспределена с графики и трассировки лучей на матричные вычисления, что повышает эффективность инференса. Заявлена поддержка открытых моделей «в день ноль» на фреймворках vLLM и PyTorch. Целевые сценарии — агентный ИИ, RAG с длинным контекстом, ассистенты, работа с документами, мультимодальность и высоконагруженная выдача токенов. Сравнения производительности с RTX Pro 6000 основаны на публичных данных и внутреннем анализе Intel по состоянию на февраль 2026 года.

Обсуждение смещает фокус с технических характеристик на доступность железа для локального запуска LLM, подчеркивая критическую важность объема памяти для MoE-моделей и агентных систем. Основным барьером для локального запуска мощных моделей остается стоимость и объем видеопамяти, а не только вычислительная мощность. Спор о роли ИИ-агентов как нового интерфейса: @K0balt считает их будущим, @hypfer указывает на отсутствие детерминизма и риск случайного удаления данных в продакшене. По опыту @unrented7977, локальные модели (например, Qwen 27b на Blackwell 96GB) уже могут превосходить проприетарные решения вроде Codex в некоторых задачах. Пользователи критикуют страницу продукта Intel за наличие «заглушек» и шаблонного текста, который забыли заменить перед публикацией. По мнению @ismailmaj, D270 больше напоминает потребительскую карту, чем серверную, из-за отсутствия эффективных механизмов multi-GPU, что ограничит её использование при большом количестве одновременных пользователей. По опыту @K0balt, при запуске модели 180b на потребительском железе (2x 3090 + 128GB RAM) скорость падает по мере заполнения контекста, что подтверждает актуальность архитектуры D270 для агентных нагрузок. Считается, что агрессивное снижение цен OpenAI на модель Luna может быть признаком страха перед развитием локальных моделей. По оценке @faragon, если стоимость памяти будет стандартной, итоговая цена устройства может составить менее 3000 USD при массовом производстве.

Китайские лаборатории, вместо того чтобы скрывать свои достижения, активно делятся оптимизациями, которые резко снижают стоимость работы больших языковых моделей. Их прорыв в сжатии KV-кэша — ключевого компонента для обработки длинных контекстов — позволил уменьшить потребление памяти с 389,12 ГБ до всего 890 МБ на миллион токенов, то есть почти в 437 раз. Это достигнуто благодаря комбинации MLA-архитектуры, сжатого разреженного внимания, повторного использования кэша между слоями и FP4-кэширования. Такая эффективность напрямую влияет на стоимость инференса: например, цена чтения кэша у Anthropic Opus 5.5 снизилась на 60%, а у OpenAI GPT-6.1 Sol — на 80% по сравнению с предыдущими версиями. Несмотря на обвинения в «дистилляции» и краже технологий, западные компании теперь тихо внедряют эти китайские оптимизации в свои модели — Claude Opus 5.5 и GPT-6.1 Sol — без шумных анонсов, но с явным улучшением эффективности и пользовательских отзывов. Парадоксально, но именно ограничения на доступ к передовым GPU в Китае стали катализатором таких инноваций, которые теперь выгодны всей индустрии. Китайские лаборатории, по-видимому, сознательно отказываются от монополии на свои методы, возможно, чтобы ускорить общее развитие поля или сформировать новые стандарты, от которых в итоге выигрывают все — даже те, кто их критиковал.

Китайские лаборатории ускоряют развитие LLM за счёт открытого деления оптимизаций, вызывая споры о стратегических мотивах и реальной выгоде западных компаний. Открытый доступ к оптимизациям KV‐кэша сокращает потребление памяти в сотни раз, делая инференс гораздо дешевле и доступнее. Модель Qwen 3.8 27B (уровень Opus 4.6) работает на RTX 5090 со скоростью 170 токенов в секунду, подтверждая эффективность современных моделей на потребительском железе. Данные @rglover и @user43928 опровергают мнение о убытке западных компаний: маржа инференса у OpenAI и Anthropic превышает 95 %. Споры касаются того, дистиллируют ли китайские лаборатории модели Anthropic (@cmiles8) или следуют академической практике и государственной стратегии (@bwest87, @advael). Ограничения на экспорт GPU вынудили китайские компании сосредоточиться на эффективности инференса, что привело к прорывам в оптимизации и снижению стоимости вычислений (@dragochar, @giardini). Улучшения в инференсе позволяют запускать более мощные локальные LLM, что потенциально снизит доходы от подписок у OpenAI и Claude (@eggbrain). Сообщества просят открытых наборов данных для дистилляции, чтобы демократизировать ИИ и снизить зависимость от закрытых решений крупных компаний (@slowin).

После того как Anthropic сделал модель Fable 5 постоянно доступной в подписных планах, пользователь Lon Lundgren заметил резкое ухудшение её производительности: модель стала «глупее», и он не мог объяснить причину. Измерения показали, что в августе модель генерировала значительно меньше «мыслительных токенов» по сравнению с июлем — это было подтверждено пятью разными способами оценки.

Дальнейший анализ выявил, что проблема носила системный характер: снижение рассуждений наблюдалось на протяжении всего периода, с колебаниями, совпадающими с анонсами и выпусками продуктов. Даже при использовании максимального уровня усилий (xhigh или max effort) большинство запросов получали мало или вообще не получали мыслительных токенов, а когда они появлялись, то редко достигали уровней, заявленных в бенчмарках. Это привело к выводу, что доступ к frontier-модели больше не гарантирует доступа к соответствующему режиму вывода (inference regime), необходимому для воспроизведения её заявленных возможностей — явление, названное «The Inference Gap».

Пользователи отмечают резкое падение производительности Fable 5 после нескольких недель использования: ошибки в коде, неверные ответы, ухудшение способности выполнять простые задачи. Подобные паттерны наблюдаются и у других моделей Anthropic (например, Opus), а также у конкурентов, что указывает на общий феномен в индустрии LLM. Спор о причинах: одни предполагают намеренное сокращение вычислительных ресурсов («авто‐деградирование») для экономии, другие — изменения нагрузки проектов или измерительные артефакты. Измерять «thinking tokens» сложно: провайдеры их не возвращают, ответы непредсказуемы, повторяемые тесты в реальном времени проблематичны. Некоторые требуют регулятивного контроля (например, Office of Weights and Measures) и обязательного предоставления контрольных сумм или уровня квантизации для прозрачности. Сокращение токенов не всегда плохо, но качество ответов ухудшается сильнее, чем экономия выгоды. Альтернативная гипотеза: снижение связано с тем, что пользовательские проекты «засыхают» и требуют меньше рассуждений. Есть предположение, что деградация заметнее у подписных аккаунтов, чем у API-пользователей, но данных нет. Совет: регулярно запускать собственные бенчмарки (каждые 2–3 дня) и держать результаты закрытыми, чтобы избежать использования провайдерами в игровых схемах. Локальные модели (Ollama, HuggingFace) на собственных машинах сохраняют стабильную производительность, что подчеркивает роль облачной инференс‐инфраструктуры в наблюдаемых изменениях.

Экономика искусственного интеллекта меняется: обучение модели — это разовый, дорогой капитальный расход, а реальная прибыль генерируется при инференсе, где есть реальные переменные затраты. Рынок переоценил DeepSeek R1, считая, что дешёвое обучение в $6 м делает крупные вложения в инфраструктуру излишними, что привело к резкому падению акций Nvidia. На деле же компании вроде Anthropic и OpenAI берут за токен инференса $25, при этом их валовая маржа достигает 90 % по сравнению с стоимостью вычислительных ресурсов. Такая модель позволяет амортизировать крупные затраты на обучение через огромный объём запросов, превращая их в устойчивую прибыль.

Недавно я тестировал GLM 5.2 от Z.ai — первый открытый конкурент, сравнимый по качеству с Opus и GPT‑5.5. Он почти неотличим по результатам, но работает медленнее, не поддерживает зрение и имеет слабую веб‑поисковую функцию, что критично для агентных сценариев. При этом платформа предоставляет совместимые OpenAI и Anthropic‑API, позволяя мгновенно заменить модель в Claude Code или Codex, меняя лишь базовый URL и ключ. Переключение стоит почти ничего, в отличие от привязки к проприетарным сервисам, и открывает путь к дешевым, открытым альтернативам, что может подорвать экономику закрытых лидеров.

• Цены на API‑вызовы падают, но у гипермасштабов остаются высокие маржи, а конкуренция со стороны китайских провайдеров ставит под сомнение долгосрочную прибыльность.
• Открытые модели (GLM 5.2, DeepSeek и др.) дешевле в инференсе, однако их качество и надёжность пока уступают закрытым фронтирным системам, что ограничивает их массовое принятие.
• Основные барьеры – инфраструктурные ограничения и необходимость интеграции с удобными харанерами/ MCP, без которых открытые модели остаются менее удобными для профессионального использования.
• Экономика токенов показывает, что рост спроса (мультизадачность, веб‑поиск, агентные сценарии) будет давить на поставки вычислительных ресурсов, что может привести к росту цен в долгосрочной перспективе.