Hacker News Digest

Kolibri — открытая языковая модель от немецкой компании Aleph Alpha — использует архитектуру «смешанных экспертов» с 78 млрд параметров, но для каждого токена активирует лишь 3,5 млрд, что делает её эффективной. Обучена на 24 трлн токенов (более 20% — на немецком) на GPU NVIDIA B200 в Германии и Финляндии, полностью в рамках ЕС-законодательства. Модель поддерживает контекст до 1 млн токенов, работает в 8-битной точности (78 ГБ памяти), имеет встроенный механизм отказа от ответа при неуверенности и предназначена для немецкого и английского языков. Её «суверенность» означает полный контроль над развертыванием: данные не покидают локальные серверы, а модель нельзя удалённо отключить или изменить.

Kolibri идеальна для обработки длинных немецких текстов — законов, медицинских анкет, договоров — особенно в сферах с высокими требованиями к конфиденциальности, например, в здравоохранении. В проекте с Charité в Берлине её планируют использовать для AI-аватара, который на немецком языке оценивает симптомы пациентов и решает, нужна ли срочная консультация. Однако она не подходит для кодирования, многоязычных задач или систем с ограниченной памятью — там эффективнее мелкие специализированные модели. Тестирование на реальных данных остаётся ключевым: замена модели в агенте без сбоев возможна через надёжные guardrails, как показано в практике разработки надёжных ИИ-систем.

Тред подтверждает открытость Kolibri через опубликованный технический отчёт и доступные веса, но вызывает споры о полном раскрытии тренировочных данных. Многие отмечают, что Aleph Alpha предоставила детальный тех‐отчёт и открытые веса — редкость в индустрии, повышающая ценность модели. Спор: отсутствие полной информации о тренировочных данных делает модель «не совсем открытой» для одних, достаточным — для других. Активные параметры в 3,5 млрд обеспечивают скорость ~170 токенов/сек на fp8 — хорошая производительность для небольших GPU. Модель поддерживает контекст до 1 млн токенов, выделяясь среди аналогов и открывая новые сценарии. Для самостоятельного хостинга требуется разместить все 78 млрд параметров в памяти, ограничивая развертывание на обычных серверах без специализированного оборудования. Сравнение с Qwen3.8 Flash (6 млрд активных параметров) вызывает разногласия: одни видят Kolibri «меньше», другие подчеркивают эффективность её активных параметров. Несколько участников видят рыночный потенциал в «sovereign» модели для аудита чужих LLM в государственных и корпоративных целях. Упоминание о предстоящем слиянии с канадской Cohere воспринимается как сигнал к совместному развитию суверенных AI‐решений в Европе. Ограниченная языковая поддержка (только немецкий и английский) считается недостатком по сравнению с мультилингвальными моделями.

Kolibri — это открытая модель с весами от Aleph Alpha, выпущенная 3 октября 2026 года в День немецкого воссоединения. Это Mixture-of-Experts Transformer с 78 млрд общего числа параметров, из которых активны только 3 млрд, поддерживающий контекст до 1 млн токенов. Модель обучена на английском и немецком языках, специализирована для использования в регулируемых секторах: государственное управление, промышленность и авиация. Доступна на Hugging Face под лицензией Apache 2.0.

Kolibri превосходит свою предшественницу — Kolibri Origin (30B общих, 3B активных параметров, 65k токенов контекста) — благодаря улучшенному пайплайну обучения, включающему автоматическое восстановление после сбоев, сотни ablation-экспериментов и стандартизированный мониторинг. В тестах Kolibri показывает высокие результаты: в HumanEval+ — 94.7%, в LiveCodeBench v6 — 93.8%, в среднем по коду — 94.2%, а в Instruction Following (IFBench) — 81.9%. Для немецкого языка достигнуты сильные показатели, например, 75.0% в CL v4 (web search). Модель оптимизирована для локального развертывания, снижая зависимость от внешних API и обеспечивая суверенитет данных через полную прозрачность цепочки поставок и защиту интеллектуальной собственности. Для запуска требуется пакет aleph-alpha-inference и vLLM с поддержкой fp8 кэша, reasoning и tool-calling. Рекомендуемые параметры сэмплинга: temperature=1.0, top_p=0.97, top_k=128. Для контекстов свыше 262k токенов нужно указать --max-model-len 1048576.

Обсуждение характеризует Kolibri как попытку создать контролируемый инструмент ЕС для регулируемых секторов. Беспрецедентной для коммерческих LLM признана открытость Aleph Alpha в описании датасета и методов обучения, включая протокол Merlin-Arthur для борьбы с галлюцинациями. Конкурентоспособность модели вызывает споры: Qwen3.8 27B превосходит Kolibri в немецком языке (79.9 против 70.8), а отсутствие сравнения с Qwen3.8 Flash может быть умышленным. При этом Kolibri эффективна в кодировании и агентных задачах, работает быстро (170 токенов/с на fp8 на RTX Pro 6000), но склонна к избыточному «размышлению». Вопрос «суверенности» остается дискуссионным. Поглощение канадской Cohere одни считают подрывом суверенитета, другие — логичным объединением ресурсов. Сомнения вызывает и использование LLM для перевода текстов в энциклопедический стиль. Для реального суверенитета в госсекторе необходим полный стек (эмбеддинги, ретривер, память), а также открытые, управляемые сообществом тренировочные запуски по аналогии с Debian. Технические особенности: — Ограничение немецким и английским языками может мешать интеграции знаний из других языков. — Собственный токенизатор Aleph Alpha многообещающ, но его эффективность не оценена. — Для локального развертывания 78 млрд параметров требуют значительной памяти; рекомендуется квантование 4/8 бит, так как fp16 не помещается на обычных машинах и Mac. Критическими остаются вопросы соответствия GDPR при обработке данных и общая оценка Aleph Alpha: от обвинений в отсутствии таланта до признания новаторами в создании ИИ-экосистемы ЕС.

Это сатирический сайт, пародирующий избыток хайпа вокруг искусственного интеллекта, корпоративную абсурдность и потребительскую культуру. Под видом «федерально mandated Super Intelligence (SI)» предлагается продукт, который на деле является пустышкой: AI.exe удалён по указу, продукт заявлен как «100% искусственно-бесплатный» и «чистый неэтилированный SI», что является очевидным противоречием и насмешкой над маркетинговыми клише. Сайт наполнен абсурдными предложениями: местная 35-параметровая модель хочет поговорить, Конгресс открыл «одну странную уловку» для экономики (перепелка в двухбуквенный ребренд), фарма предлагает субсидированные дофаминовые инъекции для депрессивного ИИ (побочный эффект — оптимизм), а Wendy’s использует динамическое ценообразование на основе зрачка и кредитного рейтинга. Повторяются шутки про Brawndo (напиток с электролитами из фильма «Идиократия»), предупреждения о том, что каждый чип понижает мнение о вас, и приглашения к абсурдным действиям вроде показать грудь или написать лимерик. Всё это подчеркивает критику технологическогоSolutionism, слепой веры в ИИ как панацею и готовности потребителей принимать любой бред, если он упакован в технологический блеск. Сайт явно не серьёзный — это памфлет на тему того, как легко продать абсурд под видом инноваций.

Сайт‐пародия выглядит как продукт LLM: типичные UI‐элементы, избыточный Tailwind‐код и шутливый «неуловимый» рекламный крестик. Дизайн напоминает работу генеративных моделей — странные градиентные пузырьки, эмодзи‐иконки и другие детали, характерные после появления LLM. Использование Tailwind для простейшего сайта считается избыточным и типичным следствием генерации кода LLM‐разработчиками. Перемещающийся крестик закрытия рекламы пародирует современные рекламные системы и отсылает к трюкам 90‐х годов. Ссылка на «Idiocracy» и сравнение с «Geocities» подчёркивают культурный контекст и ностальгический элемент, усиливающие сатиру. Автор комментария отмечает, что сложно сделать сатирический сайт похожим на современный новостной ресурс, чтобы аудитория поняла иронию.

Newgrounds — это платформа, где каждый может публиковать и находить анимацию, игры, музыку и искусство, созданное независимыми авторами. С 1995 года сайт стал домом для тысяч пользовательских работ, от абсурдных флеш-анимаций до сложных интерактивных игр и экспериментальной музыки. Здесь нет цензуры — контент часто провокационный, неформальный и полный личного стиля, что делает его уникальным в эпоху алгоритмических лент.

Платформа поддерживает сообщество через системы оценки, судейство и форумы, где авторы получают обратную связь и растут. Популярные работы вроде «Punk Ass Pirate Donkey» или «Wade’s Song» демонстрируют смесь чёрного юмора, технического мастерства и эмоциональной глубины. Newgrounds остаётся одной из немногих площадок, где творчество не подчиняется трендам, а живёт по правилам авторов — и именно это привлекает миллионы поклонников. Поддержка сайта через подписки даёт доступ к дополнительным функциям и помогает сохранить его независимость.

Newgrounds сохранил контент и сообщество, формировавшее раннюю веб-культуру создания игр и анимации. Многие пользователи впервые научились программировать на платформе, создавая простые Flash-игры и обмениваясь кодом на форумах — это стало стартовой точкой для их карьеры в разработке. Платформа была ключевой для независимых авторов 2000-х: даже неудачные работы (например, «blammed» анимации) сохранялись, создавая уникальную архивную ценность. Популярные игры вроде *Fancy Pants Adventures* и *Kingdom Rush* начались на Newgrounds, демонстрируя её роль как катализатора коммерческих проектов. Пользователи вспоминают, как играли в школе, скрываясь от учителей, подчёркивая культурное проникновение платформы в повседневную жизнь подростков до эпохи фильтрации контента. Музыка и анимации, созданные подростками, остаются доступными спустя 20 лет, делая Newgrounds уникальным архивом детского и юношеского творчества. Создатели, включая Тома Фулпа, использовали реальных друзей как персонажей ещё до запуска, показывая, как личные связи формировали контент с самого начала. Сайт сохранил нецензурированную природу, контрастируя с современными платформами, и воспринимается как редкий остров свободы в интернете. Пользователи отмечают, что современные платформы вроде Roblox и Minecraft не передают ту же атмосферу неформального, личного творчества, характерную для Newgrounds в 2000-х. Некоторые до сих пор посещают свои старые профили, испытывая смешанные чувства, но признавая историческую ценность своих работ. Создание первой коммерческой игры для Armor Games произошло через Newgrounds, подтверждая её роль как инкубатора для других платформ. Пользователи вспоминают, что их первые Flash-игры были примитивны, но искренни — именно это делало сообщество уникальным по сравнению с современными коммерциализированными платформами. Несмотря на удаление или потерю многих игр, Ruffle и архивы сохранили значительную часть контента, сделав Newgrounds одним из немногих сохранившихся примеров раннего веб-творчества. Платформа предоставляла обратную связь от сообщества (например, «blamming»), формируя навыки критического мышления и устойчивость к отзывам. Создатели музыки и анимации часто были подростками, и их работы, созданные в 15 лет, остаются доступными спустя десятилетия, подчёркивая долговечность Newgrounds как архива.

Выпуск Zig 0.17.0 стал результатом пяти месяцев работы 206 участников и 925 коммитов. Ключевое улучшение — переработка системы сборки с внедрением Build Server Protocol, что упрощает интеграцию с IDE и ускоряет разработку. ELF-линкер значительно улучшен, что делает инкрементальную компиляцию надёжной для всех пользователей на x86_64-linux. Обновлён уровень поддержки платформ: добавлен Tier 1 для Windows на ARM64, расширена поддержка Linux на RISC-V и улучшена работа на macOS. В языке удалён синтаксис умножения массивов, добавлены функции @bitCast с улучшенной безопасностью, @divCeil для точного округления вверх, @backingInt и @fromBackingInt для работы с перечислимыми типами, а также @SpirvType для Vulkan-разработки. Грамматика языка теперь формально специфицирована и протестирована фаззингом, что повышает надёжность парсинга. Перевод C-кода вынесен во внешний пакет, упрощая основной инструментарий. Zig остаётся ориентированным на создание надёжного, производительного и переиспользуемого кода, а развитие финансируется через Zig Software Foundation. Поддержка проекта через пожертвования помогает ускорить путь к версии 1.0.

Zig 0.17.0 — значительный шаг вперёд в интеграции с IDE и стабильности сборки благодаря Build Server Protocol и улучшенному ELF-линкеру, подтверждённому практическим опытом. Однако остаются споры: жёсткая политика против ИИ в репозитории критикуется за баны за личные проекты, хотя команда утверждает, что блокировки касаются только официальных пространств и могут быть ошибочными. Нестабильность сборок из-за изменений в build.zig между версиями признаётся, но некоторые считают её неизлемой ценой быстрого развития. Zig называют наиболее продуманным языком для человека по сравнению с C, Go и Haskell, несмотря на малую экосистему. Поддержка целевых платформ остаётся сильной стороной, сравнимой с C, особенно для SPIR-V и WebGPU. Векторизация циклов по-прежнему отключена из-за сложностей с LLVM, что разочаровывает разработчиков численных задач. Поддержка io_uring отсутствует в 0.17.0 — команда отказалась от реализации на последнем этапе, вызывая недовольство у тех, кто нуждается в асинхронном вводе-выводе. Несмотря на официальную политику против ИИ, Zig привлекателен для LLM-ассистированных задач из-за хорошей поддаче генерации и анализу кода. Пользователи советуют избегать слишком новых релизов в продакшене из-за риска поломки build.zig, рекомендуя фиксировать зависимости или использовать стабильные версии. Баны за ИИ часто ошибочны — рекомендуется обращаться в команду по email. Сообщество видит Zig как «живой» язык с быстрыми изменениями и энтузиазмом, похожим на ранние Node.js или ES6, привлекающим тех, кто готов к нестабильности. Сомнения в достижении 1.0 до 2028 года coexist с надеждой, что стабилизация IR и работа над проверкой жизненного цикла памяти могут ускорить релиз.

Apple объявила о планах ужесточить контроль над доступом к полному диску в macOS из-за растущих рисков для приватности пользователей. Сейчас эта привилегия, необходимая для корректной работы приложений резервного копирования, обходит стандартные защитные механизмы системы, предоставляя программам неограниченный доступ к файлам, почте, сообщениям и даже истории браузера. Некоторые разработчики используют её не по назначению, потенциально exposing личные данные без полного осознания пользователем последствий, что особенно опасно для мессенджеров, где под угрозой оказывается конфиденциальность собеседников.

В ответ Apple введёт дополнительные safeguards, требующие от пользователей более явного и осознанного подтверждения перед предоставлением такого уровня доступа. Это особенно актуально на фоне роста автономных ИИ-агентов, которые при наличии Full Disk Access могли бы действовать с минимальным надзором, значительно увеличивая угрозы безопасности. Компания подчеркивает, что пользователи должны чётко понимать, какие данные они открывают и кому, чтобы принимать взвешенные решения о своей приватности. Цель — сохранить легитимные сценарии использования, одновременно блокируя злоупотребления, которые подрывают доверие к экосистеме macOS.

Пользователи считают Full Disk Access слишком грубым и требуют более тонкой настройки доступа к отдельным папкам, но опасаются предоставления терминалу полного доступа к диску и множества всплывающих запросов. Большинство комментаторов считают, что полные права доступа к диску слишком широки и нуждаются в более гранулированных разрешениях: выборочных папках, режиме только чтения или отдельном доступе к документам, загрузкам и рабочему столу. Есть спор: некоторые (eptcyka) считают sandboxing в macOS неэффективной границей безопасности, другие (moecables, lxgr) полагают, что детальные контрольные механизмы повышают защиту и снижают риски использования новых приложений. Для AI‐агентов предлагается добавить диалог «разрешить один раз», аналогичный Location Services на iOS, чтобы избежать постоянных запросов TCC и позволить быстрое одобрение отдельных команд. Терминал с полным доступом к диску рассматривается как высокий вектор риска: такие права позволяют скриптам получать неограниченный доступ к файлам, что вызывает опасения у coderbants и smcleod. Пользователи хотят видеть, какие конкретные папки разрешены каждому приложению, и иметь возможность отозвать эти разрешения (mrkpdl, kccqzy). Также предлагается информировать пользователей, использует ли приложение security‐scoped bookmark для постоянного доступа, чтобы они знали, предоставляют ли одноразовый или постоянный доступ (kccqzy). Многочисленные всплывающие запросы прав доступа уже делают macOS почти непригодной для ежедневного использования, что, по мнению jameskraus и techscruggs, может оттолкнуть разработчиков и пользователей.

Автор рассуждает о том, что современные рабочие столы macOS и Windows устарели, поскольку их дизайн возник как обход аппаратных ограничений, которые давно исчезли. Он отмечает, что люди используют экраны по-разному: кто-то максимизирует окна, кто-то держит одно большое и несколько маленьких, а кто-то тщательно организует всё пространство. При этом система не адаптируется к смене мониторов — например, при переходе от док-станции к ноутбуку пользователь вручную перетаскивает окна, тратя время и силы. Также поднимается проблема приватности: на широком экране личное содержимое может быть случайно видимо прохожим, а текущие методы его скрытия неэффективны. Автор предлагает радикально переосмыслить взаимодействие с окнами, вдохновившись tmux — системой, где сессии сохраняются, удобно переключаются и не зависят от расположения окон. Он видит в tmux модель для будущего рабочего стола, доступного обычным пользователям, и призывает к экспериментам, поскольку крупные компании больше не инновируют в этой области. Ключевая мысль: пришло время пользователям самим определять, как должен выглядеть рабочий стол будущего.

Большинство проблем с управлением окнами, заявленных в статье, уже решаются тайлинговыми менеджерами (i3, hyprland, River и др.). tmux как «операционная система» остаётся ограниченным: он не имеет полноценной GUI‐поддержки и не сохраняет состояние между перезагрузками без дополнительных плагинов. Многие комментаторы считают, что цели автора по управлению окнами достижимы через i3, hyprland, River или yabai+skhd — они поддерживают композитинг и графические приложения, в отличие от tmux. Файловая абстракция в современных ОС, особенно в экосистеме Apple, ослаблена: данные хранятся в проприетарных базах, а не в обычных файлах. Для интеграции терминала и X‐приложений предлагается EXWM или Ratpoison (Emacs как WM). tmux без плагинов не сохраняет сессии между перезагрузками — это делает его опыт неполным. UI‐дизайн субъективен: одни считают его искусством, другие — инженерной задачей, где полная конфигурируемость WM даёт практические преимущества. Для разрозненных данных рекомендуется единый поиск по всему компьютеру (email, Slack, iCloud и т.д.). Вертикальные вкладки не новость — Tree Style Tabs существовали с 2007 года, Arc лишь популяризировал их. Некоторые предлагают nvim с плагинами как альтернативу «OS», заменяющую tmux и отдельный редактор. Опытные пользователи отмечают: переход от Unity/GNOME/KDE к тайлинговым WM (i3, sway, niri) часто приводит к отказу от tmux. River, где композитор и WM разделены, считается перспективной платформой для кастомных окружений. Конфигурируемость hyprland и подобных WM решает большинство заявленных проблем без изменения архитектуры ОС. tmux как ОС невозможен без полной GUI‐поддержки; его рациональное использование — как инструмент для терминальных сессий, а не как замена десктопа. Запуск tmux как PID 1 или login‐shell не решает фундаментальных ограничений: без GUI и надёжного сохранения состояния он остаётся частичным решением.

Muse Gadgets — это открытая аппаратная платформа, позволяющая пользователям самостоятельно создавать устройства, взаимодействующие с Muse, используя готовые платы вроде ESP32 или Raspberry Pi и предоставленные SDK. Проект распространяется под лицензией Apache 2.0, код доступен на GitHub, и включает поддержку различных платформ: от микроконтроллеров до полноценных Linux-систем. Пользователи могут подключать дисплеи, датчики, кнопки, динамики и микрофоны, создавая персонализированные гаджеты для вывода информации, голосового взаимодействия или автоматизации задач.

В разделе примеров представлены конкретные реализации: например, Waveshare ESP32-S3-Touch-AMOLED-1.75C с круглым 1,75-дюймовым AMOLED-экраном, динамиком и микрофоном; Seeed reTerminal E1002 с цветным e-ink-дисплеем для отображения утренних briefings или списков покупок; M5Stack StickS3 — компактное устройство с экраном и кнопкой для отображения статуса Muse; а также концепция HDMI-стика для вывода Muse на телевизор. Все устройства разработаны сторонними производителями, Meta не гарантирует их работу и не endorses их. Сообщество активно взаимодействует в Discord, где сейчас онлайн 161 участник, делясь опытом, идеями и улучшениями SDK.

Тред подчеркивает скептицизм сообщества к инициативе Meta из-за рисков приватности, ограничений токенов SDK и нестабильной поддержки, но отмечает интерес DIY‐энтузиастов к использованию ESP32 и Raspberry Pi для экспериментов с AI‐агентами. Большинство комментаторов опасаются, что Meta собирает данные о домашней сети и личных устройствах через открытый SDK. SDK требует токен, ограниченный по количеству устройств, и может изменяться без предупреждения, что делает его ненадёжным для продакшн‐проектов. DIY‐сообщество ценит доступность дешёвых плат ESP32 и Raspberry Pi как шанс обучаться и экспериментировать с AI‐агентами. Рекомендуется следить за ростом цен на ESP32 из‐за возможного дефицита и удорожания при массовом спросе. Советуют рассмотреть открытые альтернативы, например TypeScript SDK от @wong2, чтобы избежать зависимости от Meta. Для безопасного тестирования предлагают использовать изолированные сети или VPN, чтобы ограничить доступ к личным устройствам. Ожидается, что крупные игроки (Google, Amazon, Apple) быстро создадут свои экосистемы и вытеснят Meta с рынка домашних AI‐агентов.

Pass Designer — это приложение от Apple, которое упрощает создание и предварительный просмотр pass'ов для Apple Wallet. Оно позволяет использовать готовые шаблоны или собственные дизайны, импортируя изображения логотипов, фонов и полос из внешних инструментов. В реальном времени обновляется превью, точно соответствующее отображению на iPhone и Apple Watch благодаря использованию того же рендеринга, что и в iOS и watchOS.

Пользователи могут настраивать цвета фона, переднего плана и меток, работать с адаптивными макетами, поддерживающими как новые функции Wallet, так и обратную совместимость. Стандартные поля каждого типа pass'а редактируются непосредственно в интерфейсе, а встроенная валидация проверяет отсутствие обязательных ключей и некорректные определения. Для посадочных талонов и билетов на события доступны семантические теги, добавляющие структурированные данные (даты, места, рейсы), которые активируют функции вроде Siri Suggestions, календаря и Maps. Pass Designer позволяет редактировать эти теги в UI, сравнивать семантические и несемантические версии pass'а и автоматически генерировать обратную совместимость из семантических данных. Бета-версия требует macOS 27 или позже и доступна после входа в Apple Account и принятия соглашения разработчика.

Pass Designer упрощает создание Wallet-пассов, устраняя сложности ручной работы и плохую документацию, но критикуется за избыточность и фокус на узких удобствах вместо фундаментальных улучшений или кросс-платформенной совместимости. Бесплатные альтернативы вроде walletwallet.alen.ro и passdesigner.app ставят под сомнение его уникальность. Некоторые считают инструмент полезным для обычных пользователей, другие — отвлекающим Apple от важных задач вроде качества ПО и борьбы с монополизацией. Есть предложения стандартизировать формат пассов с Google или усилить экосистему Apple. Отмечается ограничение Wallet из-за отсутствия динамических баркодов при плохой связи и предлагается семантически выделять область баркода для HDR-яркости. В iOS 27 добавлен скан QR-кодов в Wallet, делая Pass Designer избыточным для многих. Требование macOS 27 ограничивает доступность. Предлагается создать единый инструмент для дизайна пассов, иконок и интерфейса. Критика направлена на то, что Apple тратит ресурсы на «удобства» вместо поиска, ИИ и качества ПО. Некоторые видят в Pass Designer шаг к глобальному расширению экосистемы, другие — усилением монополии. Существуют альтернативы вроде Offline Cards для добавления физических карт без нового приложения.

DwarfStar 4 (ds4) — это узкоспециализированный C-движок для локального запуска frontier-моделей: DeepSeek V4/V4.1 Flash, GLM 5.x и Qwen3.8 Flash Next. Он работает на высокопамятных Mac (Metal), CUDA и ROCm-устройствах, используя асимметричную 2-битную квантилизацию routed экспертов, сохраняя точность критических путей. Это позволяет размещать 284-миллиардные параметровые модели на машинах с 128 ГБ ОЗУ, где KV-кэш сохраняется на SSD по хешу промпта, ускоряя перезапуски без полного префилла.

Движок предоставляет три интерфейса: интерактивный CLI (./ds4), локальный HTTP-сервер с OpenAI/Anthropic-совместимыми API (./ds4-server) и нативный агент для постоянных кодинг-сессий (./ds4-agent), все разделяющие одно состояние модели и кэш. На M5 Max с 128 ГБ при контексте 65K токенов достигается 398.5 токенов/с на префилле и 27.6 на генерации; на DGX Spark аналогичной конфигурации — 823.0 и 13.8 соответственно. Установка: клонировать репо, скачать веса через download_model.sh ds4f-q2, собрать под бекенд (например, make cuda-spark) и запустить. Лицензия MIT.

ds4 эффективно запускает крупные MoE-модели на Apple Silicon с 128 ГБ RAM, обеспечивая высокую скорость генерации и поддержку длинных контекстов (до 1 млн токенов, ~22 токенов/сек на Qwen 3.8 Flash Next на M5 Max). Требует дорогостоящего оборудования, ограничивая доступность. ds4 отличается минимальными зависимостями, ориентацией на frontier-модели и асимметричной 2-битной квантизацией экспертов, позволяя размещать модели до 284 млрд параметров на потребительском железе. Поддерживает Metal (Apple Silicon) и CUDA/ROCm (другие платформы), фокусируясь на реальных сценариях использования на высокопроизводительном оборудовании, а не на универсальности. Разработчики расширяют ds4: добавлена поддержка Qwen3.8 и Vision, реализованы FFI-биндинги для Go (ds4go), улучшена интеграция с Hugging Face через TUI. SSD-стриминг позволяет запускать крупные модели (например, полные GLM 5.x) на системах с менее чем 96 ГБ RAM, расширяя применимость за пределы флагманских Mac. Пользователь @simoiacos разработал собственный инференс-движок для Intel Xe-LP (без XMX) на 32 ГБ ноутбуках, поддерживающий квантизированный Gemma-4, с планами расширения поддержки MoE-моделей. Пользователь @liuliu рекомендует Local Code (TestFlight) как альтернативу для 64 ГБ M5-Pro, поддерживающую DeepSeek 4.1 Flash и Qwen 3.8 27B с SSD-стримингом и кастомными квантами. Некоторые пользователи сомневаются в уникальности ds4 по сравнению с llama.cpp или ollama, которые также поддерживают длинные контексты и квантизацию. Комментатор @doctorpangloss утверждает, что квантизированный чекпоинт DeepSeek V4 низкого качества, что ставит под сомнение точность результатов несмотря на высокую скорость. Использование C вместо Rust обусловлено стремлением к минимальным зависимостям и максимальной портируемости (как в Redis), обеспечивая лёгкую интеграцию через FFI. Пользователь @neomantra создал ds4go — Go-биндинги и TUI-инструменты для загрузки моделей с Hugging Face, упрощая использование ds4 для не-C-разработчиков. Цена MacBook Pro M5 Max с 128 ГБ RAM (~7800 €) делает ds4 доступным лишь для узкого круга пользователей, ограничивая массовое распространение несмотря на технические достижения.