Hacker News Digest

Фреймворк MLX с открытым исходным кодом позволяет запускать передовые языковые модели локально на Apple silicon, используя унифицированную память. В новой версии показано, как модель Muse Spark Open почти на триллион параметров работает прямо на рабочем столе: на кластере из четырёх Mac Studio она выдаёт более 36 токенов в секунду — выше средней скорости человеческого чтения. Ключ к этому — сочетание трёх технологий: поддержки нейронных ускорителей в GPU чипов M5, низколатентной связи между машинами через RDMA поверх Thunderbolt и эффективной реализации архитектуры смеси экспертов (MoE).

Сравниваются два поколения Mac Studio — новый M5 Ultra и предыдущий M3 Ultra. Тестировались три модели: Muse Spark Open (816 млрд параметров, MoE, в 4-битной точности NVFP4), Mistral Medium 3.5 (128 млрд, FP8) и Qwen 3.8 (27 млрд, BF16). Замерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление. Благодаря комбинации нового кремния, 512 ГБ унифицированной памяти и RDMA поверх Thunderbolt 5 модели свыше 800 млрд параметров запускаются локально, а скорость старта выросла до 4,6 раза по сравнению с прошлым поколением.

Apple демонстрирует локальный запуск Muse Spark на дорогих Mac Studio, но сообщество сомневается в экономической целесообразности из-за завышенных бенчмарков и высоких цен, рассматривая это как ранний шаг к доступному локальному ИИ. Apple позиционирует себя как поставщик аппаратного «инструмента», позволяя другим разрабатывать и обучать модели, а не занимаясь этим самостоятельно. По оценкам, запуск Muse Spark на Mac Studio требует $20 000–$80 000 в аппаратных инвестициях, что может быть оправдано для некоторых SMB, но сомнительно масштабируемо. Рынок локальных LLM на потребительском уровне считается небольшим, и неясно, сможет ли Apple продать достаточно дорогих машин, чтобы покрыть затраты. Пресс‐релиз Apple почти не упоминает Meta, делая анонс похожим на рекламный материал, а не на научный доклад. Пользователь peri‐cl обвиняет Apple в «sandbagging» модели Qwen, сравнивая 4‐bit вариант Meta с BF16‐версией Qwen; другие комментарии не опровергают эту претензию, создавая спор о корректности бенчмарков. Тесты показывают, что один M5 Ultra с 256 GiB запускает DeepSeek 4.1 Flash и GLM 5.3 Flash с приемлемой скоростью, но качество под 4‐bit может ухудшаться. Токен‐пропуск 15–36 токенов в секунду при контексте 8192 токенов считается недостаточным для большинства практических задач. Стоимость Mac Studio (256 GB от $9 499, 512 GB ещё не объявлена) делает локальный запуск крупных моделей дорогим и пока академическим. Для удобного многозадачного использования требуется улучшить поддержку контейнеров macOS, иначе настройка сложных локальных кластеров будет затруднена. Некоторые пользователи выражают оптимизм, что в будущем такие модели смогут работать на более доступном оборудовании, делая локальный ИИ массовым.

M5 Ultra Mac Studio с 256 ГБ ОЗУ стал настоящим прорывом для локальных ИИ-агентов. Теперь можно запускать персональные ассистенты на базе моделей вроде OpenClaw или Hermes Agent без зависимости от облака, получая при этом скорость и отзывчивость, сравнимые с онлайн-решениями. Автор подчеркивает, что раньше локальные модели казались слишком медленными и ограниченными, но мощность M5 Ultra кардинально меняет ситуацию — вычислительные ресурсы достаточно для комфортной работы с продвинутыми агентами прямо на устройстве.

Ключевое преимущество — отсутствие дополнительных расходов на облачные сервисы при высокой производительности. Mac Studio справляется с задачами, которые ранее требовали удалённых вычислений, делая локальный ИИ практичным и доступным. Это открывает новые сценарии использования: от автономных помощников до экспериментов с агентными системами без риска утечки данных или задержек из-за сети. Для энтузиастов и разработчиков, сосредоточенных на приватности и независимости, такая машина становится идеальной платформой.

Обсуждение подчеркивает, что производительность M5 Ultra в локальных ИИ-задачах зависит от квантизации, оптимизаций (MTP/dFlash) и архитектуры модели (MoE vs dense), а не только от аппаратных характеристик. Стоимость устройства ставит под сомнение его экономичность по сравнению с облачными решениями. Спор: @gpugreg утверждает, что RTX 5090 достигает >200 токенов/с с ninfer/NVFP4, тогда как @nacs отвечает, что Qwen3.8-27B не помещается в 32 ГБ VRAM 5090, в отличие от M5 Ultra с 256 ГБ ОЗУ. Спор: @karmakaze приводит данные по запуску Qwen3.8-27B-MXFP4 на двух AMD R9 7000 — 260+ токенов/с, превосходя M5 Ultra, но участники фокусируются на сравнении с M5, игнорируя x86-альтернативы. Спор: @smcleod считает, что показатели M3 Ultra в статье завышены, так как его M5 Max работает быстрее; @alex7o отвечает, что с dFlash и MTP M5 Max достигает 75 токенов/с на 256K контексте. Совет: @hamiltont рекомендует брать дешёвый подержанный Ultra (M2/M3) — пропускная способность памяти одинакова у всех Ultra, что даёт лучшую отдачу от вложений. Совет: @alex7o советует использовать dFlash и MTP при тестировании, иначе результаты не отражают реальный потенциал системы, особенно для M5 Max. Совет: @liuliu предупреждает, что MLX-квантизация не эквивалентна качеству llama.cpp, и требует публикации результатов на стандартизированных бенчмарках. Согласны: MoE-модели лучше подходят для M5 Ultra из-за высокой памяти и ограниченной пропускной способности, чем плотные модели (Qwen3.8-27B). Согласны: экономически локальные ИИ-агенты на M5 Ultra не оправданы, если можно арендовать GPU за $5/час — это хобби для тех, кто может позволить себе тратить деньги. Отмечают: цена M5 Ultra (12–15 тыс. $) неоправданно высока — сравнивают с домом или 12 годами подписки на OpenAI Pro. Подтверждают: M5 Pro/Max/Ultra эффективны для специфических задач (CFD, симуляция iOS), превосходя предыдущие поколения в 3–3.5 раза. Спор: @lowbloodsugar сравнивает M5 Ultra с грузовиком Komatsu, утверждая, что сравнение с RTX 5090 по токенам/с некорректно — 5090 не загружает 256K-контекстные модели, тогда как M5 Ultra может, и это ключевое преимущество. Совет: @mstaoru отмечает, что M5 Ultra слишком медленен для кодирования и видео, не превосходя облачные агенты — сомневается в его практической ценности для сложных задач. Совет: @crossroadsguy описывает опыт: даже 16 ГБ ОЗУ на старом Mac не позволяют запускать локальные модели из-за высокого потребления памяти системой — M5 Ultra недоступен для большинства. Отмечают: macOS ограничивает использование M5 Ultra как сервера или homelab-устройства; отсутствие полноценной Linux-поддержки снижает его потенциал.

Apple анонсировала новый Mac Studio с процессорами M5 Max и M5 Ultra, позиционируя его как мощный настольный компьютер для ИИ-задач и экстремальных профессиональных рабочих процессов. M5 Max предлагает 18-ядерный CPU, до 40-ядерный GPU с нейроакселераторами в каждом ядре и до 128 ГБ унифицированной памяти, обеспечивая до 4,3× ускорение ИИ-производительности и до 1,8× рост графической мощности по сравнению с предыдущим поколением. M5 Ultra удваивает эти показатели: 36-ядерный CPU, до 80-ядерный GPU и впечатляющие 512 ГБ унифицированной памяти, что позволяет запускать огромные языковые модели полностью на устройстве. Оба варианта поддерживают пропускную способность памяти до 614 ГБ/с, Wi-Fi 7, Bluetooth 6 и Thunderbolt 5, который также позволяет объединять несколько Mac Studio в кластер для распределённого ИИ-вывода с до 3× ускорением по сравнению с одиночной системой.

Mac Studio позируется как полноценная платформа для разработки ИИ благодаря новым фреймворкам Core AI и MLX, оптимизированным под Apple Silicon, которые совместно с Xcode и macOS 27 обеспечивают полный цикл работы: от экспериментов и обучения моделей до их локального развёртывания. Поддержка Apple Intelligence и Siri AI дополняет экосистему, делая систему привлекательной для разработчиков, исследователей, данных учётов и креативных профессионалов. Устройство доступно для предзаказа с 25 августа 2026 года, а начало продаж — 22 сентября. Thunderbolt 5 также расширяет возможности подключения внешних накопителей, PCIe-шасси и хабов для самых интенсивных нагрузок.

Обсуждение дополняет анонс Apple, подчеркивая, что M5 Ultra — это мощный, но чрезвычайно дорогой инструмент для локального ИИ, который подходит лишь узкому кругу профессионалов, а не массовому рынку, и его цена не оправдана для большинства пользователей, особенно при наличии более доступных облачных альтернатив.

• Совет: Пользователь @joshstrange предлагает заменить закрепленный MBP на Mac Studio с Neo для редких удаленных задач, так как это экономит деньги и упрощает инфраструктуру.

• Спор: @kristianp оспаривает утверждение Apple о возможности использования Mac Studio как сервера LLM для офиса, утверждая, что скорость токенов слишком низка для бизнес-применений, и лучше купить несколько GPU NVIDIA.

• Совет: @alberth указывает, что 512 ГБ оперативной памяти для M5 Ultra появится только в октябре, а базовая версия M6 ограничена 32 ГБ, что подтверждает ограничения в текущей конфигурации.

• Совет: @tristor отмечает, что 512 ГБ — это лишь порог «достаточно», а для надежного запуска моделей >1T параметров с 4-битным квантованием требуется 1 ТБ памяти, что Apple не предлагает.

• Совет: @gizajob и @nythroaway048 отмечают отсутствие 1 ТБ опции как стратегическое ограничение Apple, несмотря на спрос со стороны финансово обеспеченных пользователей и исследователей.

• Совет: @vadansky спрашивает, можно ли ожидать производительности Opus на M5 Max с 256 ГБ, что указывает на нехватку прямых сравнений производительности моделей LLM на этих чипах.

• Совет: @swader999 подчеркивает, что облачные решения стоят дешевле ежемесячной аренды Mac Studio, что делает локальный ИИ на этом устройстве экономически нецелесообразным для многих.

• Совет: @mythz считает, что цена 164 ГБ оперативной памяти в $4000 — это «апокалипсис памяти», и предлагает перейти на M6 Mac Mini как временное решение, пока цены не упадут.

• Совет: @nico_h утверждает, что текущие цены на память неустойчивы и неоправданы для корпоративных клиентов, так как стоимость токена ниже реальной стоимости его генерации.

• Совет: @ChildOfChaos советует ждать два года, чтобы цены снизились или появилась более доступная альтернатива, так как текущие цены слишком высоки.

• Совет: @prometheus1992 предупреждает, что новые Mac Studio и Mac Mini будут в дефиците как минимум шесть месяцев после 22 сентября, что влияет на доступность.

• Совет: @gigatexal шутливо сравнивает стоимость M5 Ultra с BMW 3 серии, подчеркивая, что устройство — это роскошь, а не необходимость для большинства.

• Совет: @jdeaton отмечает, что Mac Studio не поддерживает Linux, что исключает его для разработчиков, зависящих от Linux-экосистемы.

• Совет: @OneWhereWhy выражает опасения по поводу тепловыделения PCIe Gen 6 SSD в настольных ПК, так как ранее такие диски использовались только в корпоративных системах с лучшим охлаждением.

• Совет: @drnick1 предлагает, чтобы Apple вернулась к традиционным ATX-башням с расширяемыми слотами, чтобы улучшить апгрейд, охлаждение и гибкость, а не делать компактные, неремонтопригодные устройства.

Apple представила два новых процессора для настольных Mac: M6 и M5 Ultra. M6 — первый чип Apple, произведённый по 2-нанометровому техпроцессу, с 12-ядерным CPU, 12-ядерным GPU, Dual 16-ядерным Neural Engine и пропускной способностью унифицированной памяти до 170 ГБ/с. Он установлен в обновлённом Mac mini и обеспечивает значительный прирост производительности и энергоэффективности по сравнению с предыдущими поколениями. M5 Ultra, в свою очередь, построен по технологии UltraFusion и представляет собой четырёхчиповую архитектуру — впервые в линейке M-серии. Он предлагает до 36 ядер CPU, до 80 ядер GPU и пропускную способность памяти 1,2 ТБ/с, что на 50% больше, чем у M3 Ultra. Этот чип предназначен для профессиональных нагрузок и работы с крупномасштабными ИИ-моделями, и установлен в новый Mac Studio. Оба процессора подчёркивают фокус Apple на сочетании высокой производительности и эффективности, особенно в задачах искусственного интеллекта. Тесты проводились в августе 2026 года на предсерийных системах с использованием отраслевых бенчмарков. Apple Intelligence будет доступен в macOS 27 этой осенью для поддерживаемых языков и регионов.

Рост производительности Apple Silicon не компенсирует рост цен и ограничения macOS. @alluro2 не вернётся к macOS из-за ухудшения системы и привязанности к Linux, ставя под сомнение экосистему Apple. @xiphias2 критикует закрытость macOS: отсутствие низкоуровневых инструментов отладки Metal, проблемы с сетью и жёсткая система окон делают её непригодной для глубокой разработки. @apatheticonion и @alluro2 указывают, что Linux на Apple Silicon неполноценен (Asahi не успевает за чипами), а без официальной поддержки ARM-версии macOS Mac превращается в тонкий клиент. @mark_l_watson, @gizmodo59 и @gehsty сходятся на том, что облачные инференсы (FireWorks.ai, Hugging Face) дешевле локальных моделей: $10–40/мес против $20 000 за железо. @paxys, @patatino и @abhishxk1 подтверждают, что M1/M4 Mac Mini остаются лучшим соотношением цены и производительности и для большинства задач не требуют апгрейда. @gardaani советует пропустить M5/M6 и ждать M7, так как Apple, по слухам, пропустит Pro/Ultra-варианты M6 ради нейронных ускорителей следующего поколения. @iandanforth приводит практическую оценку: M5 Ultra генерирует ~50 токенов/с на Qwen 3.8 27B. @aetherspawn считает покупку M6 Ultra оправданной только при 100 токенов/с на 100B MoE при 2M контексте и цене ниже $10K. @SXX, @mrtksn и @int32_64 отмечают, что апгрейд RAM на M5 Ultra стоит $25–34 за ГБ, делая версию на 512 ГБ (~$24 700) недоступной даже по сравнению с DGX Spark. @5ersi сравнивает M6 с AMD AI 395+ за €2000: Mac Mini вдвое дороже при сопоставимой производительности. @LeoPanthera и @vldmrs добавляют, что современные LLM не оптимизированы под 128–256 ГБ RAM, делая высокую память Mac Studio избыточной. @w10-1 предлагает лизинг за $50/мес как альтернативу покупке. @recursivedoubts и @Dansvidania восхищаются 2 нм как реальным физическим прогрессом, а не маркетингом. @kulahan сомневается в осмысленности термина «2 нм», сравнивая его с «динамическим контрастом» у телевизоров. @BirAdam и @xacky отмечают нестабильность Linux на Apple Silicon и рассматривают NetBSD как более перспективную альтернативу для лёгкой и стабильной ARM-ОС.