Hacker News Digest

Фреймворк MLX с открытым исходным кодом позволяет запускать передовые языковые модели локально на Apple silicon, используя унифицированную память. В новой версии показано, как модель Muse Spark Open почти на триллион параметров работает прямо на рабочем столе: на кластере из четырёх Mac Studio она выдаёт более 36 токенов в секунду — выше средней скорости человеческого чтения. Ключ к этому — сочетание трёх технологий: поддержки нейронных ускорителей в GPU чипов M5, низколатентной связи между машинами через RDMA поверх Thunderbolt и эффективной реализации архитектуры смеси экспертов (MoE).

Сравниваются два поколения Mac Studio — новый M5 Ultra и предыдущий M3 Ultra. Тестировались три модели: Muse Spark Open (816 млрд параметров, MoE, в 4-битной точности NVFP4), Mistral Medium 3.5 (128 млрд, FP8) и Qwen 3.8 (27 млрд, BF16). Замерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление. Благодаря комбинации нового кремния, 512 ГБ унифицированной памяти и RDMA поверх Thunderbolt 5 модели свыше 800 млрд параметров запускаются локально, а скорость старта выросла до 4,6 раза по сравнению с прошлым поколением.

Apple демонстрирует локальный запуск Muse Spark на дорогих Mac Studio, но сообщество сомневается в экономической целесообразности из-за завышенных бенчмарков и высоких цен, рассматривая это как ранний шаг к доступному локальному ИИ. Apple позиционирует себя как поставщик аппаратного «инструмента», позволяя другим разрабатывать и обучать модели, а не занимаясь этим самостоятельно. По оценкам, запуск Muse Spark на Mac Studio требует $20 000–$80 000 в аппаратных инвестициях, что может быть оправдано для некоторых SMB, но сомнительно масштабируемо. Рынок локальных LLM на потребительском уровне считается небольшим, и неясно, сможет ли Apple продать достаточно дорогих машин, чтобы покрыть затраты. Пресс‐релиз Apple почти не упоминает Meta, делая анонс похожим на рекламный материал, а не на научный доклад. Пользователь peri‐cl обвиняет Apple в «sandbagging» модели Qwen, сравнивая 4‐bit вариант Meta с BF16‐версией Qwen; другие комментарии не опровергают эту претензию, создавая спор о корректности бенчмарков. Тесты показывают, что один M5 Ultra с 256 GiB запускает DeepSeek 4.1 Flash и GLM 5.3 Flash с приемлемой скоростью, но качество под 4‐bit может ухудшаться. Токен‐пропуск 15–36 токенов в секунду при контексте 8192 токенов считается недостаточным для большинства практических задач. Стоимость Mac Studio (256 GB от $9 499, 512 GB ещё не объявлена) делает локальный запуск крупных моделей дорогим и пока академическим. Для удобного многозадачного использования требуется улучшить поддержку контейнеров macOS, иначе настройка сложных локальных кластеров будет затруднена. Некоторые пользователи выражают оптимизм, что в будущем такие модели смогут работать на более доступном оборудовании, делая локальный ИИ массовым.

DeepSeek представил модель V4.1-Flash — самую компактную в новой архитектурной линейке с нативным пониманием изображений. Она сочетает повышенную способность, ускоренный вывод и высокую пропускную способность, а также спроектирована для лёгкого масштабирования до более крупных версий. Ключевое преимущество — асимметричная MoE-архитектура на 552 млрд параметров, где для обработки входа активируются всего 8 млрд, а для генерации — 16 млрд параметров, что резко снижает вычислительные затраты при сохранении высокой производительности.

V4.1-Flash также значительно уменьшает требования к кэшу ключей и значений: по сравнению с предыдущим поколением потребляет в четыре раза меньше HBM-памяти и в восемь раз меньше SSD-хранилища, что критично для снижения стоимости работы агентных систем. Модель уже доступна через DeepSeek API под именем deepseek-flash с нативной мультимодальной поддержкой, а старые версии V4-Flash и V4-Flash-Vision-Exp перенаправляются на неё для обратной совместимости. Доступна для загрузки на Hugging Face.

DeepSeek V4.1-Flash — архитектурный прорыв с асимметричной MoE и сокращением KV-кэша до 890 байт на токен за счёт Causal Encoder-Decoder с проекцией кэша из состояний энкодера, а не из каждого слоя декодера (в 4 раза меньше, чем у V4 Flash). Это снижает стоимость кэш-хита до $0.003/млн токен, делая трансфер контекста потенциально доминирующим фактором затрат и ставя под сомнение традиционные API-запросы. Модель масштабом 552B не помещается в 128 ГБ даже на двухкарточных системах — локальный запуск требует квантизации ниже 4 бит. Превосходит в специализированных бенчмарках (Terminal-Bench 2.1, DeepSWE, NL2Repo), уступает GPT-6 Astra и Opus 5.6 в GPQA Diamond и SEC-Bench Pro — производительность неоднородна. Поддерживает мультимодальность, эффективна в визуальном QA, пригодна для инженерных задач. Высока в кодировании и CLI, но некорректно обрабатывает форматы вывода (игнорирует <bash></bash>), иногда отвечает китайским на английские запросы — проблемы с локализацией и детекцией языка. Сжигает больше reasoning-токенов, чем Gemini 3.8 Flash, снижая эффективность в one-shot. Скорость на OpenRouter упала с 400–500 до ~150 токенов/сек, но остаётся в 100% быстрее предыдущих версий при низкой стоимости. Для голосового ассистента нужна версия с отключённым reasoning — текущая добавляет неприемлемую задержку. Споры: название «Flash» не соответствует классическому пониманию — модель вдвое крупнее V4 Flash (284B). Заявления о снижении цен противоречат реальному росту тарифов: вход/выход выросли с $0.10/$0.25 до $0.30/$1.20. Совет: для тестирования — промо-доступ через OpenCode Go.

Qwen3.8-Flash-Next — это мультимодальная MoE-модель с 125B параметрами и 51B N-gram-встраиваний, активирующая всего 6B параметров на токен. Она служит ранним превью архитектуры Qwen4 и улучшает эффективность за счёт четырёх ключевых нововведений: гибридного внимания GDN + QSA, гейтованного остатка (GR) с четырьмя ветвями, N-gram-встраиваний, выгружаемых в хост-память с асинхронной префетчкой, и оптимизатора Muon, настроенного под новую архитектуру. Благодаря этим изменениям модель достигает превосходных результатов в кодинге и офисных задачах при обучении, требующем лишь 1/9 ресурсов по сравнению с Qwen3.7-Plus.

Модель поддерживает контекст до 262 144 токенов нативно и масштабируется до 1 000 000 токенов с YaRN. Qwen Sparse Attention (QSA) использует лёгкий индексатор для выбора важного контекста на уровне микроблоков, резко снижая стоимость внимания на длинных последовательностях. Gated DeltaNet (GDN) эффективно сжимает историю, а гейтованный остаток улучшает межслойный поток информации и стабильность обучения. N-gram-встраи позволяют увеличить ёмкость модели с минимальными вычислительными издержками благодаря табличному поиску по локальному контексту. Все компоненты работают совместно для достижения максимальной стоимостной эффективности без потери качества.

Тред дополняет статью практикой локального запуска: подтверждает жизнеспособность модели на 128GB-системах (Strix Halo, Mac, DGX Spark), уточняет реальные размеры и проблемы N-gram сайдкара, даёт конкретные цифры скорости и стоимости, и фиксирует нерешённые вопросы по длинному контексту и совместимости с llama.cpp/vLLM/LM Studio.

• Совет: @xlayn слил llama.cpp с поддержкой дискового кэша N-gram: ~23.54 tok/s на IQ4_XS; @hedgehog на Ryzen 395 / Strix Halo получает ~22 tok/s, качество лучше 3.8 27B и достаточно хорошее, чтобы уйти с 3.6 35B, хотя 35B всё ещё быстрее.

• Совет: @cmrdporcupine выложил отдельный движок инференса под DGX Spark: ~80 tok/s prefill, 12 tok/s decode, ~80 GiB в RAM, N-gram-таблицы подгружаются с SSD.

• Совет: @pram отмечает: релиз Unsloth Desktop весит 73GB, то есть влезает в 128GB Mac и Strix Halo; @jedisct1 опубликовал MLX-кванты oQ4e-128k для Apple M5 128 GiB.

• Спор: @potus_kushner vs @pbmonster о N-gram сайдкаре: @pbmonster считает, что горячие N-gram держатся в RAM, остальные тянутся с SSD, @potus_kushner возражает — Unsloth показывает 50GB при заявленных 4 битах, что ломает сценарий «64GB RAM с 2–3 битным квантом» и делает модель фактически недоступной для обычных пользователей.

• Совет: @andy99 сомневается, что 176B суммарных параметров влезут в 4-битный квант под 100GB; @pbmonster уточняет — N-gram параметры могут жить на SSD с кэшем горячих в памяти.

• Совет: @monster_truck делится опытом в QwenCloud за $18: склеил форки, сделал чистый merge, bisect регрессии и фикс через проектные тулы; 90M входных/400k выходных токенов за $0.45, потрачено менее 10% недельного лимита.

• Несколько участников (@martinald, @tristor, @garo-pro) подтверждают: в mainline llama.cpp, vLLM и LM Studio модель пока не запускается; Unsloth уже отправил патчи в llama.cpp.

• Спор: @simonw: на DGX Spark с UD-IQ1_S результаты хуже, чем у Qwen 3.8 27B; @hedgehog на IQ-квантах в llama.cpp и @freakynit, @whwhyb — напротив, качество выше 27B и лучше DeepSeek V4 Flash. Различие списывают на агрессивность кванта у Simon.

• Совет: @armcat поднимает вопрос входной вербозности: GLM 5.2 на их бизнес-нагрузках накапливал много thinking-токенов, Qwen3.8-27B удваивал это; просит данные о token efficiency именно у Flash-Next.

• Совет: @anon373839 ищет инфу о поведении на DGX Spark на длинных контекстах: при 273 GB/s пропускной способности результаты противоречивы и неполны.

• Участники (@tosh, @lucabytheway, @Imustaskforhelp, @garo-pro) считают релиз значимым: новая архитектура (предвестник Qwen 4), обучение в 1/9 стоимости Qwen3.7-Plus при лучших результатах; N-gram-встраивания уже использовались в DeepSeek, Gemma и Longcat.

• Совет: @amclennon и @respectattentio: модель дешевле DeepSeek Flash по API и подчёркивает разницу стратегий — китайские лаборатории выпускают веса с первого дня, американские держат модели под замком.

Главная идея — первый рабочий запуск DeepSeek‑V4‑Flash‑0731 на одной видеокарте AMD MI300X без дополнительной квантовки или оффлоу. Модель полностью помещается в 156,7 GiB HBM3, а благодаря 192 GiB памяти и 5,3 TB/s пропускной способности достигается пропускная способность до ≈ 8 K токенов/сек при предзаполнении и 168,6 токенов/сек в медиане однопоточного декодирования. При 8‑х одновременных потоках суммарный вывод достигает 542 токенов/сек, а пиковый 64‑потоковый баст‑запрос укладывается в 830 токенов/сек без OOM и ошибок движка. Контекст поддерживается до 256 K токенов (архитектура теоретически позволяет 1 M).

Ключевые факты, которые стоит запомнить:

• 156,7 GiB весов — полностью в HBM, без offload‑квантовки;
• ≈ 8 K tok/s предзаполнение (6 988–7 019 tok/s в продакшн‑профиле);
• 542 tok/s суммарный вывод при 8‑х потоках, 830 tok/s при 64‑потоковом басте;
• Исправления касаются FP8‑формата MI300X, MoE‑маршрутизации, CPU‑KV синхронизации и специфичных ядер ROCm.

Эти детали позволяют использовать MI300X как дешевый (в 2–3 раза) альтернативный вариант к NVIDIA‑решениям для тяжёлых LLM‑задач.

DeepSeek V4 Flash можно запускать на AMD MI300X, но с ограничением контекстного окна с 1M до 256k — по опыту @monster_truck, это не снижает качество. @Tepix считает MI300X неподходящей как OAM-модуль, но @WhitneyLand отмечает, что модель работает, хоть и с ограничениями. MI350P — альтернатива с 144GB памяти, но меньшей, чем у MI300X. @fergusfinn советует использовать MI300X с высоким HBM и делится опытом работы с 2xMI300X. Производительность MI300X всё ещё ниже, чем у H800 (15k токенов/сек).

Swiftlet — это рантайм на Swift + Metal, позволяющий запускать гибридные модели Qwen3‑Next и Qwen3.5/3.6 MoE на обычных iOS‑устройствах. Вместо того, чтобы держать весь параметр в памяти, в RAM остаётся лишь небольшая плотная «ядровая» часть, а остальные эксперты потоково читаются из хранилища, что делает возможным работу 35‑B и даже 80‑B моделей на iPhone 17 (примерно 2,5 ГБ RAM, 1 токен/сек).

Ключевые приёмы: чтение экспертов через pread в ограниченный пул слотов, выгрузка по LFU + recency, фиксированный stride‑пакетный ввод‑вывод и мгновенная компиляция шейдеров. Архитектурно проект поддерживает альтернативные схемы внимания (Gated DeltaNet, gated GQA), int4/int8‑квантование в Metal и полную систему установки, кэширования и обработки разговоров. В результате на Mac‑е 35‑B модель потребляет лишь 2,6 ГБ RAM и генерирует 7‑11 токен/сек, а 80‑B — 4,3 ГБ и 4,5‑5 токен/сек.

Тред обсуждает запуск крупных моделей на устройствах с ограниченными ресурсами — iPhone и Mac. По опыту @leonickson, на Mac с 32 ГБ RAM увеличение кэша до 8 ГБ не ускоряет работу — узкое место — GPU, а не RAM. @adrianco советует увеличивать RAM-кэш на устройствах с 24–32 ГБ RAM — это может значительно ускорить работу. @dghlsakjg видит в этом прогресс и предполагает будущее запуска моделей на дешёвом оборудовании, например, SSD за $200. @jarek83 и @arjie спорят о реалистичности запуска 1T-параметровых моделей на таком оборудовании, указывая на ограничения и стоимость. @throwawayffffas и @leonickson обсуждают износ SSD при использовании для моделей; @throwawayffffas отмечает, что у него SSD работает долго без проблем.