Hacker News Digest

Исследователи предлагают Minions — распределённый виртуальный GPU-облако, которое объединяет простаивающие графические процессоры устройств на Apple Silicon под управлением macOS для выполнения крупномасштабного машинного обучения. Рост спроса на GPU-ускоренный вывод моделей упирается в ограничения централизованных инфраструктур: высокую стоимость, слабую эластичность и долгие ожидания в очереди. При этом мощные GPU в современных Mac большую часть времени бездействуют. Minions позволяет командам задействовать уже имеющееся оборудование, не закупая новые ускорители, и обеспечивает гибкое выполнение задач вывода, отказоустойчивость и эффективное использование ресурсов.

Практика показывает, что простаивающие macOS-устройства можно превратить в рабочую распределённую платформу для GPU-вывода там, где централизованных ресурсов не хватает. Это особенно актуально на фоне растущей популярности Apple Silicon среди разработчиков и исследователей ИИ: фреймворк MLX уже позволяет эффективно запускать большие языковые модели прямо на Mac, экспериментировать с новыми методами вывода и дообучения и работать с ИИ в приватной среде на собственном железе. MLX поддерживает все системы на Apple Silicon.

Отдельно отмечается прогресс в ускорении вывода LLM и для GPU NVIDIA, широко применяемых в промышленных задачах: авторегрессивная генерация токенов обходится дорого и идёт относительно медленно, поэтому повышение эффективности вывода напрямую снижает задержку для пользователей.

Minions — технически тривиальное решение, напоминающее SETI@home, без архитектурных инноваций, но потенциально полезное для использования простаивающих мощностей в корпоративной среде. Спор о новизне: @brandonpelfrey и @skhameneh считают архитектуру примитивной (CRUD DB + S3); @yardie отмечает, что аналогичные механизмы давно используются Apple в Final Cut Pro и Xcode CI/CD, хотя @saagarjha не видит связи с распределёнными вычислениями. Энергоэффективность сомнительна: @mcculley указывает, что домашние ПК часто обходятся дороже централизованных дата-центров из-за стоимости электроэнергии и низкой эффективности железа. Идея воспринимается как переизобретение: @cmdrk называет это возвращением к cycle scavenging спустя 40 лет; @pjmlp сравнивает с HPC-кластерами. Виден потенциал в демократизации обучения моделей: @nsagent полагает, что поддержка распределённого обучения (не только вывода) позволит энтузиастам объединять Mac Studio и Mac Mini для федеративного обучения и RL. Существуют аналоги: Salad, Darkbloom, проект exo. Совет: @pm90 предлагает Apple создать независимую цепочку поставок чипов и собственный облачный сервис для захвата рынка аренды ARM-вычислений. Проект может быть полезен компаниям для аналитических задач в нерабочее время на существующем оборудовании (@tom1337).

OpenPCC — это open-source фреймворк, обеспечивающий доказуемо приватный вывод для моделей искусственного интеллекта. Проект фокусируется на защите конфиденциальности данных при выполнении инференса, позволяя организациям использовать ИИ без компромиссов в безопасности. Фреймворк реализует криптографические протоколы, гарантирующие, что исходные данные пользователей остаются защищенными даже при обработке на сторонних серверах.

Ключевая особенность — возможность математически доказать соблюдение приватности через криптографические примитивы. Поддерживает различные архитектуры моделей и оптимизирован для производительности. Разработчики подчеркивают, что система не требует изменения существующего кода моделей, что упрощает интеграцию. Проект призван решить растущую проблему конфиденциальности в эпоху облачных вычислений и распределенного ИИ, предлагая прозрачный и верifiable подход к защите пользовательских данных.

• Обсуждение вращается вокруг конфиденциального вычисления: участники обсуждают, какие именно гарантии предоставляет Apple и другие решения, и какие уязвимости остаются.
• Поднимается вопрос, что именно подразумевается под "конфиденциальностью" и какие именно угрозы мы пытаемся предотвратить.
• Участники спорят, насколько критично важно иметь открытый исходный код и возможность самостоятельно собрать бинарник, чтобы убедиться, что в нем нет бэкдоров.
• Обсуждается, что на практике может означать "открытый исходный код" и почему это важно для безопасности и конфиденциальности.
• Некоторые участники высказывают мнение, что в конечном счете важно не столько само решение, сколько доверие к провайдеру, и что в конечном счете доверие к провайдеру может быть важнее, чем к конкретному техническому решению.

Qwen3 30B A3B Q40 на 4×Raspberry Pi 5 8 ГБ

• 30-миллиардная модель запущена на кластере из четырёх Pi 5.
• Использован формат Q40 (40% квантование), суммарно ~19 ГБ ОЗУ.
• Скорость генерации: 1,1 токен/с при 128-к контексте.
• Сеть — Gigabit Ethernet, трафик между узлами 200–300 Мбит/с.
• Питание: 5 В 5 А на каждую плату, общая мощность ≈ 60 Вт.
• Охлаждение: радиаторы + 30-мм вентиляторы, температура 60–65 °C.
• Проект полностью open-source, собран за 2 часа.

• На кластере из 4×Raspberry Pi 5 запустили 30B-MoE-модель (3B активных параметров) и получили 13 токен/с при 4-битной квантизации.
• Участники сравнили цену/производительность с GPU, старыми x86-мини-ПК и RK3588-SBC: у Pi самая низкая энергоэффективность и дороговато за такую скорость.
• Главный интерес — «доказательство концепции» распределённого инференса: tensor-parallelism по Ethernet, максимум узлов = числу KV-голов модели.
• Сеть (1 Gb/s) пока не узкое место, но рост требует 2ⁿ узлов и сталкивается с латентностью и NUMA-эффектами.
• Кому-то идея нравится как дешёвый edge-LLM без интернета, другие считают проект игрушкой и советуют докупить used GPU или M4-Mac mini.