Hacker News Digest

Фреймворк MLX с открытым исходным кодом позволяет запускать передовые языковые модели локально на Apple silicon, используя унифицированную память. В новой версии показано, как модель Muse Spark Open почти на триллион параметров работает прямо на рабочем столе: на кластере из четырёх Mac Studio она выдаёт более 36 токенов в секунду — выше средней скорости человеческого чтения. Ключ к этому — сочетание трёх технологий: поддержки нейронных ускорителей в GPU чипов M5, низколатентной связи между машинами через RDMA поверх Thunderbolt и эффективной реализации архитектуры смеси экспертов (MoE).

Сравниваются два поколения Mac Studio — новый M5 Ultra и предыдущий M3 Ultra. Тестировались три модели: Muse Spark Open (816 млрд параметров, MoE, в 4-битной точности NVFP4), Mistral Medium 3.5 (128 млрд, FP8) и Qwen 3.8 (27 млрд, BF16). Замерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление. Благодаря комбинации нового кремния, 512 ГБ унифицированной памяти и RDMA поверх Thunderbolt 5 модели свыше 800 млрд параметров запускаются локально, а скорость старта выросла до 4,6 раза по сравнению с прошлым поколением.

Apple демонстрирует локальный запуск Muse Spark на дорогих Mac Studio, но сообщество сомневается в экономической целесообразности из-за завышенных бенчмарков и высоких цен, рассматривая это как ранний шаг к доступному локальному ИИ. Apple позиционирует себя как поставщик аппаратного «инструмента», позволяя другим разрабатывать и обучать модели, а не занимаясь этим самостоятельно. По оценкам, запуск Muse Spark на Mac Studio требует $20 000–$80 000 в аппаратных инвестициях, что может быть оправдано для некоторых SMB, но сомнительно масштабируемо. Рынок локальных LLM на потребительском уровне считается небольшим, и неясно, сможет ли Apple продать достаточно дорогих машин, чтобы покрыть затраты. Пресс‐релиз Apple почти не упоминает Meta, делая анонс похожим на рекламный материал, а не на научный доклад. Пользователь peri‐cl обвиняет Apple в «sandbagging» модели Qwen, сравнивая 4‐bit вариант Meta с BF16‐версией Qwen; другие комментарии не опровергают эту претензию, создавая спор о корректности бенчмарков. Тесты показывают, что один M5 Ultra с 256 GiB запускает DeepSeek 4.1 Flash и GLM 5.3 Flash с приемлемой скоростью, но качество под 4‐bit может ухудшаться. Токен‐пропуск 15–36 токенов в секунду при контексте 8192 токенов считается недостаточным для большинства практических задач. Стоимость Mac Studio (256 GB от $9 499, 512 GB ещё не объявлена) делает локальный запуск крупных моделей дорогим и пока академическим. Для удобного многозадачного использования требуется улучшить поддержку контейнеров macOS, иначе настройка сложных локальных кластеров будет затруднена. Некоторые пользователи выражают оптимизм, что в будущем такие модели смогут работать на более доступном оборудовании, делая локальный ИИ массовым.

Исследователи предлагают Minions — распределённый виртуальный GPU-облако, которое объединяет простаивающие графические процессоры устройств на Apple Silicon под управлением macOS для выполнения крупномасштабного машинного обучения. Рост спроса на GPU-ускоренный вывод моделей упирается в ограничения централизованных инфраструктур: высокую стоимость, слабую эластичность и долгие ожидания в очереди. При этом мощные GPU в современных Mac большую часть времени бездействуют. Minions позволяет командам задействовать уже имеющееся оборудование, не закупая новые ускорители, и обеспечивает гибкое выполнение задач вывода, отказоустойчивость и эффективное использование ресурсов.

Практика показывает, что простаивающие macOS-устройства можно превратить в рабочую распределённую платформу для GPU-вывода там, где централизованных ресурсов не хватает. Это особенно актуально на фоне растущей популярности Apple Silicon среди разработчиков и исследователей ИИ: фреймворк MLX уже позволяет эффективно запускать большие языковые модели прямо на Mac, экспериментировать с новыми методами вывода и дообучения и работать с ИИ в приватной среде на собственном железе. MLX поддерживает все системы на Apple Silicon.

Отдельно отмечается прогресс в ускорении вывода LLM и для GPU NVIDIA, широко применяемых в промышленных задачах: авторегрессивная генерация токенов обходится дорого и идёт относительно медленно, поэтому повышение эффективности вывода напрямую снижает задержку для пользователей.

Minions — технически тривиальное решение, напоминающее SETI@home, без архитектурных инноваций, но потенциально полезное для использования простаивающих мощностей в корпоративной среде. Спор о новизне: @brandonpelfrey и @skhameneh считают архитектуру примитивной (CRUD DB + S3); @yardie отмечает, что аналогичные механизмы давно используются Apple в Final Cut Pro и Xcode CI/CD, хотя @saagarjha не видит связи с распределёнными вычислениями. Энергоэффективность сомнительна: @mcculley указывает, что домашние ПК часто обходятся дороже централизованных дата-центров из-за стоимости электроэнергии и низкой эффективности железа. Идея воспринимается как переизобретение: @cmdrk называет это возвращением к cycle scavenging спустя 40 лет; @pjmlp сравнивает с HPC-кластерами. Виден потенциал в демократизации обучения моделей: @nsagent полагает, что поддержка распределённого обучения (не только вывода) позволит энтузиастам объединять Mac Studio и Mac Mini для федеративного обучения и RL. Существуют аналоги: Salad, Darkbloom, проект exo. Совет: @pm90 предлагает Apple создать независимую цепочку поставок чипов и собственный облачный сервис для захвата рынка аренды ARM-вычислений. Проект может быть полезен компаниям для аналитических задач в нерабочее время на существующем оборудовании (@tom1337).

Выпущены веса Muse Spark Open — самой мощной открытой модели из США на сегодня. Это нативно мультимодальная модель с 816 млрд параметров (42 млрд активных) и контекстным окном в 1 млн токенов. Она создана для программирования и агентных задач: долгосрочных сценариев, сложной разработки и многошаговых рассуждений. Впервые модель такого класса запускается прямо на настольном компьютере — на двух Apple M5 Ultra Mac Studio с новейшим фреймворком MLX.

Объединённая память Apple позволяет встроенному GPU использовать до 512 ГБ на каждый Mac Studio, так что две машины вмещают всю модель целиком, а пропускная способность памяти 1,2 ТБ/с успевает считывать нужный срез для каждого токена — два компьютера работают как один суперкомпьютер с терабайтом памяти. В тестах полностью локально прогоняли агентные сценарии: правки, новые функции и полную сборку для открытого клиента Mastodon Ice Cubes, а также сквозную работу в DaVinci Resolve с покадровым отбором лучших моментов и вертикальной обрезкой.

Модель доступна через API у Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI; веса — на Amazon SageMaker AI, Google Cloud Model Garden, Hugging Face и Microsoft Foundry Models. Поддерживаются SGLang, vLLM, TensorRT-LLM, Transformers, MLX, llama.cpp и Unsloth с оптимизацией под AMD, Apple, Intel и NVIDIA; кастомные ядра Helion в SGLang дают ускорение 1,03–3,95× на уровне ядер и 3% сквозного прироста на AMD MI350. Веса выходят под лицензией Muse Model License с ограниченными коммерческими условиями.

Muse Spark Open отстает в производительности от конкурентов: хуже Qwen3.8 Flash Next и GLM 5.3 Flash по большинству метрик, на уровне DeepSeek v4.1 flash и Mimo 2.5 flash, но уступает им. Также слабее предыдущих версий Muse Spark 1.3 и 1.2 и значительно отстает от Muse Wonder Full. Лицензия ограничивает открытость: разрешает внутреннее и исследовательское использование, но для предоставления как сервиса требует отдельного соглашения с Meta, что считается нелиберальным. Для запуска требуется два Apple M5 Ultra Mac Studios (~1 ТБ унифицированной памяти), что делает модель недоступной большинству пользователей. Некоторые запустили её на потребительском железе (Mac, MLX, Unsloth), но это требует специфических фреймворков и мощных GPU. Стоимость доступа через OpenRouter считается завышенной — в 10 раз выше, чем у DeepSeek v4.1 flash при сопоставимом качестве. Сообщество просит более детальных бенчмарков на низком и среднем уровнях рассуждений, так как текущие оценки сосредоточены только на высокоуровневой логике. Из-за устаревшего механизма внимания и большого KV‐кеша (~200 ГБ при 1 млн токенов) модель не рекомендуется для задач с длинным контекстом — лучше рассматривать более современные аналоги.

Jeff — это набор небольших моделей (Qwen3.5 и Gemma 4) до 2B параметров, дообученных для мгновенного zero-shot выбора между вариантами, описанными словами. За один прямой проход они возвращают калиброванные вероятности для каждого варианта без генерации текста или парсинга — около 22 мс на RTX PRO 6000 и 28 мс на Apple M4 Max. Модели подходят для задач вроде маршрутизации запросов, определения намерений или модерации, где категории могут быть произвольными и отсутствовать в обучающих данных.

Точность Jeff близка к Jev, а при дообучении на своих примерах растёт резко: например, в голосовой навигации с 31,7% до 95,8% за полчаса на одной GPU. Обучение проводилось полностью на локальном оборудовании — один RTX PRO 6000 для обучения, синтетические данные от Qwen3.8-Flash-Next на двух DGX Sparks, тесты на MacBook, без закрытых моделей или облачных GPU. Выпущены три версии: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B и Jeff-Gemma4-E2B на Hugging Face, код под MIT, веса — Apache 2.0. Запуск через jeff-serve с поддержкой PyTorch и MLX, запрос — JSON с описанием состояния и списка вопросов типа choice, noul или score.

Тред дополняет статью реальными отзывами: пользователи делятся успешными примерами (быстрый сортировщик файлов), отмечают проблемы с точностью (70 % против 94 % у Jev), обсуждают альтернативы без полного LLM (эмбеддинги + MLP, SVM), задаются вопросами о деталях архитектуры и обучении дома, подчёркивают критическое значение скорости (30 мс) и поднимают этические опасения по поводу массового наблюдения. Пользователь ioma8 создал быстрый сортировщик файлов на основе Jeff, разместил код на GitHub и отмечает, что он работает без проблем. Совет: В сообществе предложили заменить Jeff простым эмбеддером + небольшим MLP или даже SVM для классификации, что достаточно для многих задач. AgentMasterRace сравнил Jeff с Jev и получил лишь 70 % точности против 94 % у Jev, назвав такой уровень неприемлемым для классификации. pan_lid отметил, что 30 мс на 0.8 B модели — это рекордная скорость, тогда как большинство существующих пайплайнов не достигают таких показателей даже с меньшими моделями. velominati предположил, что Jeff не обрабатывает токены последовательно, а использует более эффективный подход, избегая квадратичной сложности O(n2), характерной для LLM. Kvarnek спросил о конфигурации оборудования, использованного для обучения моделей дома, подчёркивая интерес к доступности такого процесса. zeroCalories выразил опасения, что быстрые классификационные модели могут стать основой для массового наблюдения и автономных боевых систем. kdaniel_03 уверен, что локальные модели продолжают улучшаться и в конечном итоге вытеснят необходимость в полном LLM для задач классификации.

Kev — это семейство небольших моделей принятия решений, построенных на базе Qwen3.5 и вдохновлённых архитектурой Jev. Доступны версии 0.8B, 4B и 9B параметров, которые можно запускать локально или дообучать под свои задачи. Модели поддерживают три типа запросов: да/нет (noul), множественный выбор (choice) и оценка (score), все они работают с одним входным текстом, но не видят ответов друг друга. API совместим с TypeSafe System One, что позволяет использовать их Python SDK с локальным сервером.

Модели работают на CUDA, ROCm и Apple Silicon (через MLX); 4B и 9B версии помещаются в 32 ГБ памяти Mac. Есть веб-игровая площадка для тестирования ввода и наблюдения за влиянием порядка вариантов на ответы, доступная в Hugging Face Spaces без установки. Для запуска требуется Python 3.12–3.13 и менеджер пакетов uv. В репозитории есть код для обучения, наборы данных для оценки и тесты, включая проверку через TypeSafe SDK. Лицензия — Apache-2.0, как и у базовых моделей Qwen.

Kev и подобные модели применяются в локальных задачах классификации и принятия решений, но их уникальность по сравнению с Jev ставится под сомнение из-за различий в обучении и качестве. Для классификации с малым числом примеров (50–100) рекомендуется использовать Codex/Claude для создания эмбеддингов + логистической регрессии: модель <1MB, обучение на CPU за 5 минут, точность 95%, инференс <100мс, данные остаются локально. Jev-подобные модели на Qwen3.5 не считаются настоящими Jev, так как Jev обучен на RLCD, а Qwen — на RLHF, что влияет на поведение при принятии решений. Jev-подобные модели могут автоматизировать стилистические правила в фронтенде (React, CSS), устраняя дрейф и дублирование, сокращая рутину разработчиков. Модели размером 0.8B–9B подходят для встраивания в игры как «питомцы»: обработка голосовых команд через STT и локальный инференс для выбора действий NPC. Для фильтрации спама такие модели могут заменить 27B-модели, снижая вычислительные затраты при сохранении высокой точности. На Gemma 4 (12B) достигнута задержка 220 мс на шаг в игре Snake на старом ПК, что указывает на потенциал снижения задержки на более мощных машинах. Прокси-слои между Jev и другими API (например, Frontier) сокращают количество вызовов инструментов на 60%, оптимизируя стоимость и производительность. Jev-подобные модели не имеют принципиального отличия от обычных классификаторов, так как их специфичность определяется обучающими данными, а не архитектурой; открытые альтернативы пока уступают по качеству. Для локального использования моделей с ограниченным knowledge cutoff требуется постоянное дообучение или регулярная смена версий, иначе они устаревают. Jev-подобные модели могут использоваться для автоматической разметки данных, но сравнение их качества с Kev в этой задаче пока неясно. Быстрое появление открытых альтернатив Jev в течение недели после релиза свидетельствует о живом интересе сообщества к простым, локальным моделям принятия решений. Создание Jev-подобных моделей на базе Qwen3.5 может упростить внутреннюю логику маршрутизации в системах, но требует проверки надёжности на критических путях.

Ternary Bonsai 2 27B — это улучшенная версия модели на основе Qwen3.8 27B, использующая тернарные веса {−1, 0, +1} с FP16 групповой масштабировкой, достигающая эффективной плотности 1.76 бита на вес и общего объёма модели всего 5.9 ГБ. Это более чем в 9 раз меньше полноценной модели при сохранении 98.2% её агрегатной производительности по бенчмаркам. Модель поддерживает контекстное окно в 262K токенов, multimodal ввод (текст + изображение) и лицензирована под Apache 2.0.

По сравнению с первым релизом Bonsai 27B, новая версия использует более сильную базовую модель (Qwen3.8 27B вместо Qwen3.6), демонстрирует улучшенные результаты в рассуждениях, кодировании, зрении и агентном поведении, особенно в долгосрочных задачах и работе с инструментами. В агрегатном бенчмарке она набирает 83.9 балла против 85.4 у полноценной Qwen3.8 27B, при этом сохраняя сильные стороны в критичных областях: код (81.58), инструменты (77.57), инструкции (82.66) и математика (96.57). Развёртывание поддерживается на NVIDIA GPU через CUDA и на Apple-устройствах через MLX с использованием кастомных низкобитовых ядер. Такой подход позволяет значительно расширить спектр устройств, способных запускать мощные модели локально, снижая энергопотребление и увеличивая плотность полезного интеллекта на единицу памяти.

Тред подтверждает, что Bonsai 2 27B действительно работает на потребительском железе, но с ограниченной скоростью; предоставляет практические инструкции по запуску модели, поднимает вопросы о корректности заявлений «near‐lossless» и о терминологии «9× smaller», а также указывает на ограничения памяти и необходимость поддержки в upstream‐llama.cpp.

• Совет: Для запуска модели требуется форк PrismML‐llama.cpp; инструкция включает загрузку runtime, скачивание GGUF‐файла (~5.95 GB) и запуск сервера с параметрами -ngl 99 -fa on -c 32768.

• На Mac Mini M2 с 16 GB RAM модель генерирует около 7‐8 токенов в секунду (≈60 токенов в предзаполнении) и считается умнее, чем Bonsai 1 27B, хотя размер чуть больше, чем у квантизации Q1_0.

• Тест на MacBook Pro M4 Pro (24 GB) показывает предзаполнение ~100 токенов/сек, затем падение до 15‐10 токенов/сек; локальные агентные задачи всё ещё слишком медленные.

• Запуск на видеокарте с 6 GB памяти даёт лишь 0.67 токенов в секунду, что указывает на необходимость более 6 GB VRAM для комфортной работы.

• Спор: Некоторые комментаторы считают выражение «9× smaller» нелогичным и предлагают вместо него говорить «1/9th the size» или «original is 9× larger», указывая на путаницу в терминологии.

• Спор: Критика качества: пользователь redox99 утверждает, что заявленная «near‐lossless» компрессия не соответствует реальности, а логика вывода модели отличается от оригинального 27 B.

• Совет: Пользователи просят добавить официальную поддержку в upstream‐llama.cpp, чтобы упростить запуск без форков и улучшить совместимость с различными платформами.

• Совет: Модель достаточно мала, чтобы её можно было запустить полностью в браузере через WebGL/WebGPU, как показал пользователь Aurornis.

• Совет: Отсутствие сравнения с другими квантизациями (например, Q2 или Unsloth) отмечено как недочёт; авторы могут добавить бенчмарки для более объективной оценки.

• Совет: По мнению blactuary, модель лучше всего подходит для задач программирования, а не для генерации изображений или общего знания.

I really wish people would stop saying N times smaller than something when making a comparison; that makes no sense - it's 1/9th (11.11%) the size. You don't get a smaller quantity by multiplying by a number greater than 1.0. — @miffy900

Apple анонсировала новый Mac Studio с процессорами M5 Max и M5 Ultra, позиционируя его как мощный настольный компьютер для ИИ-задач и экстремальных профессиональных рабочих процессов. M5 Max предлагает 18-ядерный CPU, до 40-ядерный GPU с нейроакселераторами в каждом ядре и до 128 ГБ унифицированной памяти, обеспечивая до 4,3× ускорение ИИ-производительности и до 1,8× рост графической мощности по сравнению с предыдущим поколением. M5 Ultra удваивает эти показатели: 36-ядерный CPU, до 80-ядерный GPU и впечатляющие 512 ГБ унифицированной памяти, что позволяет запускать огромные языковые модели полностью на устройстве. Оба варианта поддерживают пропускную способность памяти до 614 ГБ/с, Wi-Fi 7, Bluetooth 6 и Thunderbolt 5, который также позволяет объединять несколько Mac Studio в кластер для распределённого ИИ-вывода с до 3× ускорением по сравнению с одиночной системой.

Mac Studio позируется как полноценная платформа для разработки ИИ благодаря новым фреймворкам Core AI и MLX, оптимизированным под Apple Silicon, которые совместно с Xcode и macOS 27 обеспечивают полный цикл работы: от экспериментов и обучения моделей до их локального развёртывания. Поддержка Apple Intelligence и Siri AI дополняет экосистему, делая систему привлекательной для разработчиков, исследователей, данных учётов и креативных профессионалов. Устройство доступно для предзаказа с 25 августа 2026 года, а начало продаж — 22 сентября. Thunderbolt 5 также расширяет возможности подключения внешних накопителей, PCIe-шасси и хабов для самых интенсивных нагрузок.

Обсуждение дополняет анонс Apple, подчеркивая, что M5 Ultra — это мощный, но чрезвычайно дорогой инструмент для локального ИИ, который подходит лишь узкому кругу профессионалов, а не массовому рынку, и его цена не оправдана для большинства пользователей, особенно при наличии более доступных облачных альтернатив.

• Совет: Пользователь @joshstrange предлагает заменить закрепленный MBP на Mac Studio с Neo для редких удаленных задач, так как это экономит деньги и упрощает инфраструктуру.

• Спор: @kristianp оспаривает утверждение Apple о возможности использования Mac Studio как сервера LLM для офиса, утверждая, что скорость токенов слишком низка для бизнес-применений, и лучше купить несколько GPU NVIDIA.

• Совет: @alberth указывает, что 512 ГБ оперативной памяти для M5 Ultra появится только в октябре, а базовая версия M6 ограничена 32 ГБ, что подтверждает ограничения в текущей конфигурации.

• Совет: @tristor отмечает, что 512 ГБ — это лишь порог «достаточно», а для надежного запуска моделей >1T параметров с 4-битным квантованием требуется 1 ТБ памяти, что Apple не предлагает.

• Совет: @gizajob и @nythroaway048 отмечают отсутствие 1 ТБ опции как стратегическое ограничение Apple, несмотря на спрос со стороны финансово обеспеченных пользователей и исследователей.

• Совет: @vadansky спрашивает, можно ли ожидать производительности Opus на M5 Max с 256 ГБ, что указывает на нехватку прямых сравнений производительности моделей LLM на этих чипах.

• Совет: @swader999 подчеркивает, что облачные решения стоят дешевле ежемесячной аренды Mac Studio, что делает локальный ИИ на этом устройстве экономически нецелесообразным для многих.

• Совет: @mythz считает, что цена 164 ГБ оперативной памяти в $4000 — это «апокалипсис памяти», и предлагает перейти на M6 Mac Mini как временное решение, пока цены не упадут.

• Совет: @nico_h утверждает, что текущие цены на память неустойчивы и неоправданы для корпоративных клиентов, так как стоимость токена ниже реальной стоимости его генерации.

• Совет: @ChildOfChaos советует ждать два года, чтобы цены снизились или появилась более доступная альтернатива, так как текущие цены слишком высоки.

• Совет: @prometheus1992 предупреждает, что новые Mac Studio и Mac Mini будут в дефиците как минимум шесть месяцев после 22 сентября, что влияет на доступность.

• Совет: @gigatexal шутливо сравнивает стоимость M5 Ultra с BMW 3 серии, подчеркивая, что устройство — это роскошь, а не необходимость для большинства.

• Совет: @jdeaton отмечает, что Mac Studio не поддерживает Linux, что исключает его для разработчиков, зависящих от Linux-экосистемы.

• Совет: @OneWhereWhy выражает опасения по поводу тепловыделения PCIe Gen 6 SSD в настольных ПК, так как ранее такие диски использовались только в корпоративных системах с лучшим охлаждением.

• Совет: @drnick1 предлагает, чтобы Apple вернулась к традиционным ATX-башням с расширяемыми слотами, чтобы улучшить апгрейд, охлаждение и гибкость, а не делать компактные, неремонтопригодные устройства.

Muse Glimmer — 30‑модель с открытыми весами, предназначенная для работы агентов непосредственно на вашем устройстве. Она умеет планировать расписание, писать сообщения, организовывать файлы и учиться вашему стилю работы, используя длительные контексты, точный вызов инструментов и многомодальное понимание. Благодаря эффективному дистилляционному рецепту и оптимизациям (квантование, DFlash‑спекулятивное декодирование) модель укладывается в память обычного ноутбука или ПК с одной видеокартой и генерирует ответы в реальном времени.

Ключевые возможности: — полноценное выполнение задач (DeepSearch QA, MCP‑Atlas, 𝛕‑Bench, SWE‑Bench); — надёжный вызов функций в длительных цепочках; — цепочки рассуждений длиной в несколько шагов; — восстановление после ошибок инструментов. На MacBook M4‑Max, M5‑Max и RTX 5090 скорость декодирования ускоряется в 1,5–3,1 раза благодаря DFlash. Веса модели уже доступны на Hugging Face, а в ближайшее время появятся интеграции с llama.cpp, MLX, ExecuTorch и партнёрами (Ollama, LM Studio и др.), что позволит быстро запустить собственного локального агента.

Тред дополняет статью практическим опытом использования Muse Glimmer, сравнениями с другими моделями (например, Qwen3.6 27B), техническими деталями и потенциальными применениями. Пользователи отмечают хорошую работу модели, но требуют 32–64 ГБ ОЗУ. Рекомендуют оптимизации — квантование и DFlash-спекуляция — для улучшения производительности на слабых устройствах. Модель применима для планирования, написания сообщений, организации файлов и адаптации к стилю пользователя. Указываются ограничения: высокие требования к памяти и возможные проблемы с производительностью на устройствах с ограниченными ресурсами.

Сегодня анонсирован Bonsai 27B — модель на 27 млрд параметров, основанная на Qwen3.6 27B, впервые способная полностью работать на смартфоне. Существует две версии: трёночная (ternary) с весами {−1,0,+1} и 1‑битовая, использующие групповой масштабирование FP16. Трёночная модель занимает 5,9 ГБ, 1‑битовая — 3,9 ГБ и помещается в память iPhone 17 Pro, при этом сохраняет весь набор функций: мультишаговое рассуждение, вызов инструментов, агентные циклы и мультимодальный vision‑токен. Оба варианта поддерживают 262 K‑токенный контекст, спекулятивное декодирование и полностью работают в низкой точности без перехода в более высокие форматы.

По оценкам на 15‑балльном наборе тестов, включая математику, программирование, вызовы инструментов и визуальные задачи, трёночная версия удерживает 95 % точности полной модели, а 1‑битовая — 90 %. Показатель «интеллектуальной плотности» достигает 0,53 единиц на гигабайт, в 10 раз превышая полноразрядный аналог и в 2,7 раза лучше лучших традиционных низко‑битовых схем. 1‑битовый вариант почти не отстаёт от полной версии в задачах рассуждения и кодирования, а его память в 2,5 раза меньше, чем у самых агрессивных обычных низко‑битовых построек. Весь набор весов доступен по лицензии Apache 2.0, поддерживается MLX на Apple‑устройствах и CUDA на NVIDIA‑GPU, а бесплатный API‑превью уже открыт для разработчиков.

• Bonsai 27B с квантованием до 1–1.58 бит показывает впечатляющую производительность на CPU и мобильных устройствах, конкурируя с более крупными моделями.
• Пользователи отмечают значительное падение в задачах вызова инструментов и странности в ответах (например, неверные макронутриенты), что ставит под сомнение практическую надёжность.
• Инфраструктура для инференса на CPU (llama.cpp, bitnet.cpp) пока не оптимизирована для тернарных моделей, что снижает скорость по сравнению с Q4-квантованными аналогами.
• Мнения разделились: одни видят в этом сдвиг парадигмы к локальным ИИ, другие считают результаты переоценёнными или искусственными, особенно из-за сильного квантования.
• Открытые модели доступны на Hugging Face, но многие инструменты (LM Studio, Ollama) пока не поддерживают их, требуя обновлений или кастомных сборок.

Плато обучения в модели PyTorch оказалось не ошибкой гиперпараметров, а багом в бэкенде фреймворка. Автор провёл детективное расследование, которое научило его больше о PyTorch, чем годы использования. Проблема заключалась в ядре MPS для Apple Silicon, где операции addcmul_ и addcdiv_ при работе с ненепрерывными тензорами молча записывали результаты во временный буфер вместо самого тензора.

Из-за инициализации весов энкодера как транспонированных декодера они получали ненепрерывную память, которая наследовалась состояниями оптимизатора Adam. Это приводило к тому, что exp_avg_sq.addcmul_() не обновлялся, оставаясь нулевым, что полностью останавливало обновление параметров. Исправить проблему можно, сделав веса непрерывными при инициализации, обновив PyTorch до версии ≥2.4 или перейдя на macOS 15+.

• Найдена ошибка в градиентах для Apple MPS в PyTorch, вызванная неправильной обработкой не-непрерывных тензоров.
• Сообщество обсуждает, что подобные ошибки встречаются и в других библиотеках и бэкендах, и что их трудно отследить.
• Участники обсуждают, что Apple не поддерживает PyTorch и вместо этого развивает собственный фреймворк MLX, что ведет к фрагментации экосистемы.
• Обсуждается, что отсутствие должной поддержки PyTorch на macOS приводит к тому, что исследователи сталкиваются с такими ошибками, которые могут быть неочевидны и влиять на результаты экспериментов.

Сильнейшая модель за 5 минут на ноутбуке
Победитель: 1.8-млн-параметровный GPT-подобный трансформер, обученный на ~20 млн токенов TinyStories и показавший 9.6 перплексии. Пример:

Once upon a time, there was a little boy named Tim…

Ограничение времени

5 минут — это ~300 млн токен-шагов. Большие модели не успевают, мелкие (10 k) быстро выходят на плато. Оптимум — 1-2 млн параметров.

Скорость

На M1 Pro (MPS) достигал 3000 ток/с.

• torch.compile, float16, MLX — без выгоды.
• Градиентное накопление тормозит.
• Главное: минимальный размер модели и MPS.

Датасет

Simple Wikipedia давала факты без смысла («Paris, France is a city in North Carolina»).
TinyStories (рассказы уровня 4-летнего) — простые паттерны, мало имён, быстрая сходимость.

• Обсуждение вращается вокруг тренировки маленьких языковых моделей на ноутбуке: почему это важно для науки и практики.
• Участники сравнивают ограничения по времени, энергии (джоулям) и железу; предлагают «AI-олимпиаду» за лучший результат на данный бюджет.
• Приводятся конкретные приёмы: Muon-оптимизатор, улучшенная инициализация, «cramming» за день на лэптопе, идея специализированных моделей «под задачу».
• Задаются вопросы о данных, переобучении, диффузных архитектурах и о том, когда марковская цепь окажется достаточной.
• В целом тон оптимистичен: даже на обычном ноутбуке можно быстро экспериментировать и учиться, не дожидаясь супер-кластеров.