Hacker News Digest

BetterWispr — открытая программа для диктовки на macOS: удерживайте ⌥ Space в любом приложении, говорите, отпускаете — и в поле ввода появляется чистый текст. Всё распознавание идёт локально, без аккаунта и облака: девять встроенных моделей (Apple speech, Parakeet, Whisper) скачиваются один раз и работают офлайн. Parakeet покрывает английский, японский и 25 европейских языков, Whisper — больше. Можно подключить собственный API Sarvam AI, Smallest AI или совместимый с OpenAI.

Настраивается почти всё: горячая клавиша (удержание или переключение), стиль для каждого приложения (неформальный убирает точку в конце, очень неформальный — ещё и заглавные), уровень чистки (Light убирает «э-э» и оговорки, Medium правит на ясность через Apple Intelligence или Ollama, None сохраняет всё). Голосовые команды вроде «запятая» или «удали последнее предложение» работают на английском. Есть встроенный Notetaker: он пишет вашу речь как «Me», звук других приложений как «Them» и затем формирует резюме, решения и задачи. Словарь запоминает имена и термины, история хранит исходный и исправленный текст с возможностью вернуть оригинал. Лицензия Apache 2.0, обновления приходят с GitHub Releases и ставятся только при совпадении подписи EdDSA.

Локальная диктовка на macOS с моделями Parakeet v3 и Whisper работает эффективно, обеспечивая высокую точность и низкую задержку. Whisper остается основным универсальным решением, в то время как Parakeet v3 поддерживает только европейские языки; для CJK-языков используют Whisper. Некоторые пользователи считают достаточным встроенный API SpeechAnalyzer. Для управления без рук применяют Bluetooth-пульты и педали с переназначением клавиш через Karabiner. Чтобы сделать процесс полностью бесконтактным, предлагают внедрить активацию по ключевому слову (wake-word) и автоматическое завершение по тишине. Для улучшения качества рекомендуют пост-транскрипционную очистку через LLM-промпты или словари. Один разработчик создал CLI-утилиту, параллельно комбинирующую три модели, что снизило задержку и повысило точность. Также запросили интеграцию с IDE для автоматической отправки сообщений при завершении диктовки. Мнения о продуктивности разделились: одни считают метод революционным, другие жалуются на усталость и отмечают, что при быстром наборе текста диктовка становится нишевым решением. Спрос на локальные и веб-версии без облачной передачи данных привел к обилию схожих OSS-проектов (Handy, VoiceInk, Wispr Flow, Biscotti). В связи с этим предлагают расширить поддержку на Windows и Linux. Отдельно обсуждаются возможные юридические риски, связанные с товарным знаком Wispr.

EmbeddingGemma 2 — это открытая мультимодальная модель эмбеддингов на базе Gemma 4 с 740 миллионами параметров, лицензированная под Apache 2.0. Она объединяет текст, изображения, аудио и видео в едином пространстве эмбеддингов, оптимизирована для работы на устройстве и поддерживает динамическое сокращение размерности через Matryoshka Representation Learning (MRL) — от 768 до 128 измерений, что снижает потребление памяти до 6 раз. На Google Pixel 11 Pro полная версия использует ~567 МБ активной RAM, а текстовая часть — всего ~191 МБ при квантовании.

Модель демонстрирует лучшее качество в своём классе: улучшила результат на MTEB Code на 9.92 пункта (с 68.76 до 78.68), превосходя многие более крупные модели. Поддерживает контекст до 8K токенов — достаточно для обработки 5.5 минут аудио, 29 изображений или 58 видеокадров на устройстве. Доступна на Hugging Face и Kaggle, совместима с MediaPipe, LiteRT, transformers.js, Ollama, llama.cpp и векторными базами вроде Qdrant. Подходит для локального поиска по коду, аудио и видео, а также для fine-tuning под конкретные задачи через Unsloth.

EmbeddingGemma 2 подходит для локального и self‐hosted использования благодаря лицензии Apache 2.0 и небольшому размеру. На ноутбуке Apple M3 Pro достигается производительность: ~78 эмбеддингов/сек для текста, 4 /сек для изображений, 6 /сек для аудио и 0,2 /сек для минут видео. Основные сценарии применения — семантический поиск изображений по тексту и наоборот, а также мультимедийный поиск в юридических анализах. Модель не имеет собственного OCR‐энкодера, поэтому для распознавания текста на изображениях требуется внешний OCR‐модуль. Для снижения вычислительной нагрузки рекомендуется динамическое сокращение размерности (MRL) от 768 до 128 измерений. Параметры модели распределены так: 740 млн всего — 270 млн текст, 170 млн зрение, 300 млн аудио, что объясняет разницу в скорости по модальностям. Пользователи могут запускать модель локально или арендовать GPU за $1‐2 в час для пакетной обработки. Для объективной оценки качества советуют сравнивать с открытыми моделями вроде VoyageAI, хотя некоторые считают её нишевой. Упоминается собственный инструмент для ускорения локального создания эмбеддингов (от minimaxir), но он пока не опубликован. Лицензия Apache 2.0 исключает риск закрытия доступа со стороны поставщика.

Muse Glimmer — 30‑модель с открытыми весами, предназначенная для работы агентов непосредственно на вашем устройстве. Она умеет планировать расписание, писать сообщения, организовывать файлы и учиться вашему стилю работы, используя длительные контексты, точный вызов инструментов и многомодальное понимание. Благодаря эффективному дистилляционному рецепту и оптимизациям (квантование, DFlash‑спекулятивное декодирование) модель укладывается в память обычного ноутбука или ПК с одной видеокартой и генерирует ответы в реальном времени.

Ключевые возможности: — полноценное выполнение задач (DeepSearch QA, MCP‑Atlas, 𝛕‑Bench, SWE‑Bench); — надёжный вызов функций в длительных цепочках; — цепочки рассуждений длиной в несколько шагов; — восстановление после ошибок инструментов. На MacBook M4‑Max, M5‑Max и RTX 5090 скорость декодирования ускоряется в 1,5–3,1 раза благодаря DFlash. Веса модели уже доступны на Hugging Face, а в ближайшее время появятся интеграции с llama.cpp, MLX, ExecuTorch и партнёрами (Ollama, LM Studio и др.), что позволит быстро запустить собственного локального агента.

Тред дополняет статью практическим опытом использования Muse Glimmer, сравнениями с другими моделями (например, Qwen3.6 27B), техническими деталями и потенциальными применениями. Пользователи отмечают хорошую работу модели, но требуют 32–64 ГБ ОЗУ. Рекомендуют оптимизации — квантование и DFlash-спекуляция — для улучшения производительности на слабых устройствах. Модель применима для планирования, написания сообщений, организации файлов и адаптации к стилю пользователя. Указываются ограничения: высокие требования к памяти и возможные проблемы с производительностью на устройствах с ограниченными ресурсами.

В Cursor появились три ключевые функции для улучшения работы с ИИ-агентом. Автодополнение теперь предлагает подсказки на основе недавних изменений, ускоряя написание промптов. Хуки (в бета-версии) позволяют настраивать поведение агента через кастомные скрипты — например, для аудита использования, блокировки команд или скрытия секретов. Командные правила дают возможность устанавливать глобальные настройки через дашборд, обеспечивая единообразие во всех проектах, включая интеграцию с Bugbot.

Дополнительные улучшения: делиться промптами через deeplinks для документации и рабочих процессов, мониторить агентов из менюбара и работать с изображениями напрямую из рабочей области. Ранее поддержка была только для вставленных изображений. Эти обновления повышают гибкость и контроль над ИИ-инструментами в командной среде.

• Пользователи отмечают снижение привлекательности Cursor из-за улучшения альтернатив (VSCode с Copilot, Claude Code) и проблем с ценовой политикой/стабильностью Cursor.
• Ключевым преимуществом Cursor считается удобное управление состоянием правок (чекпойнты, откаты) и, по мнению некоторых, лучшее автодополнение (Supermaven).
• Растёт интерес к использованию локальных моделей (LM Studio, Ollama) и CLI-инструментам (Claude Code) из-за проблем с квотами, стоимостью и стабильностью подключения в облачных решениях.
• Многие пользователи выражают недовольство стоимостью Cursor, сложностью отслеживания расходов и непредсказуемой скоростью ответа.
• Cursor позиционируется некоторыми как удобный «всё-в-одном» вариант для частого переключения моделей и параллельной работы нескольких агентов, но его долгосрочная актуальность ставится под сомнение.

Ollama представила новый API для веб-поиска, который позволяет моделям получать актуальную информацию из интернета, снижая риск галлюцинаций и повышая точность ответов. Бесплатный тариф доступен для индивидуального использования, а повышенные лимиты — через Ollama Cloud. API интегрирован с Python и JavaScript библиотеками, что упрощает создание инструментов для длительных исследовательских задач, включая работу с моделями вроде OpenAI gpt-oss.

Примеры кода демонстрируют использование через cURL, Python и JavaScript, возвращая структурированные результаты поиска с заголовками, URL и содержанием. Также показано, как построить поискового агента с помощью модели Qwen 3 от Alibaba, используя инструменты web_search и web_fetch для автоматизации запросов и обработки данных. Это расширяет возможности моделей, позволяя им активно взаимодействовать с веб-источниками в реальном времени.

• Вопросы о поисковом провайдере и лицензии на результаты поиска, включая возможность их хранения и перепубликации.
• Сомнения в бизнес-модели Ollama, её переходе от локального хостинга к облачным услугам и планам монетизации.
• Обсуждение технических альтернатив для локального поиска и индексации, а также интеграции с Ollama.
• Критика запуска функции веб-поиска без четкой документации по тарифам, лимитам и политике конфиденциальности.
• Предложения и опыт использования сторонних инструментов для поиска (SearXNG, Tavily, SERP API) и локальных решений.

Gemma 3 270M — самая маленькая модель семейства Gemma 3, всего 270 млн параметров.
Подходит для запуска на смартфонах, микроконтроллерах и в браузере без облака.

• Производительность: на MMLU и HumanEval обгоняет Gemma 2 2B и Llama 3.2 3B, уступает Gemma 3 1B.
• Скорость: на Pixel 8 Pro — 1,2 токена/с, на RTX 4090 — 200 токенов/с.
• Форматы: Keras, JAX, PyTorch, Gemma.cpp, Ollama, Transformers.
• Лицензия: Gemma Terms of Use, коммерческое применение разрешено.

Доступна в Kaggle, Hugging Face, Ollama и через gemma-3-270m-it в Vertex AI.

• Команда представила Gemma 3 270M — сверхкомпактную модель (241 МБ) для локального запуска и тонкой настройки под узкие задачи.
• Пользователи уже тестируют её на телефонах, но жалуются на холлюцинации и слабое следование инструкциям.
• Обсуждаются примеры применения: тегирование статей WordPress, NER/перевод, генерация SVG, «умные» клавиатуры, обработка 50 млн строк в день.
• Многие спрашивают туториалы по дообучению и сравнение с Qwen 0.6B, который показывает лучшее качество при схожем размере.
• Авторы подчеркивают: модель «из коробки» слаба, но после fine-tuning может стать мощным специализированным инструментом.

• Локальный стек: Ollama (LLM), assistant-ui (веб-интерфейс), Apple container (изолированные ВМ), Playwright (браузер), coderunner (MCP-сервер с Jupyter).
• Цель: чат, запуск кода и доступ в интернет без облаков и утечек данных.
• Проблемы:
  – Модели Ollama пока не поддерживают вызовы инструментов.
  – Создание нативного Mac-приложения провалилось: a0.dev заточен под iOS, Electron + NextJS оказались геморроем.
  – Apple container часто падает с Trap; помогает pkill + перезапуск.
• Решения:
  – Веб-версия assistant-ui через ai-sdk с выпадающим списком моделей (локальных и облачных).
  – Jupyter в изолированной ВМ, доступен по MCP: http://coderunner.local:8222/mcp.
  – Конфиг для Claude Desktop: "coderunner": { "httpUrl": "http://coderunner.local:8222/mcp" }.

• Участники восхищаются локальной, «песочной» архитектурой для приватного AI-воркспейса и инструментом coderunner, но отмечают, что узкие места — это не только софт, но и «железо»: 80B-модели требуют ≥80 ГБ быстрой RAM, что доступно разве что на RTX 4090 или Strix Halo.
• Критичным становится слой знаний: RAG над личными файлами требует вектор-БД, а значит — много диска и оперативки; Docker-обёртка или docker compose up -d просится как минимальный способ разворачивания.
• Пока локальные модели — скорее «увлекательное хобби» (медленно, глючно, нужен тюнинг), чем рабочий инструмент; облачные API (Cerebras, Groq) дают 1000 ток/с, но подрывают приватность.
• Сообщество просит готовый «всё-в-одном» стек: веб-поиск, голосовой режим, image-gen, лёгкий switch «локально ↔ облако» без потери данных.
• Несколько участников делятся своими решениями: Kasm + Ollama, Open WebUI, MLX-электрон-приложение, Synology-NAS-контейнеры, браузерный LLM без установки.

• В день выхода открытой модели вроде gpt-oss-120b мы сразу ускоряем её для клиентов, как партнёры запуска OpenAI. К концу дня запуска стали лидерами на NVIDIA по латентности и пропускной способности по данным OpenRouter.

• Быстрая оптимизация обеспечена гибким стеком инференса и экспертизой команды; за время написания поста прибавили ещё ~100 ток/с при 100% аптайме.

• Работы включали:

  • Тесты и бенчмарки в TensorRT-LLM, vLLM и SGLang.
  • Совместимость с архитектурами Hopper и Blackwell.
  • Интеграцию с нашим стеком (в т. ч. NVIDIA Dynamo).
  • Оптимизации: маршрутизация с учётом KV-кэша, спекулятивная генерация с Eagle.

Шаг 1: Первый инференс

• Запускаем базовый инференс в любом доступном фреймворке и на нужных GPU/серверных уровнях.
• Параллелим работу: одни пробуют vLLM и SGLang, другие — TensorRT-LLM; быстрее всего взлетел TensorRT-LLM.
• Важно обслуживать модель и на Hopper (H100), и на Blackwell (B200) для широкой доступности и максимальной скорости.
• Гибкость рантайма позволяет быстро переключать инструменты и обновлять матрицу поддержки.

Шаг 2: Исправление багов совместимости

• Новые архитектуры приводят к тонким несовместимостям; GPT OSS добавил, например, Harmony — новый формат ответов.
• Итеративно чиним и валидируем на скорость и корректность; по возможности контрибутим обратно в open source.
• Благодаря сообществу есть несколько отличных путей запуска GPT OSS, проблемы быстро выявляются и чинятся.

Шаг 3: Оптимизация конфигурации

• Хотя GPT OSS 120B можно запустить на одном H100, оптимально масштабировать на 4–8 GPU для лучшей латентности/throughput.
• Рассмотрены два подхода параллелизма для MoE: тензорный и экспертный. Тензорный даёт меньшую задержку, экспертный — выше системную пропускную способность. Мы выбрали тензорный, так как приоритет — латентность.
• Приняли MoE Backend в TensorRT-LLM (поддерживается на Blackwell, не на Hopper), который добавляет более быстрые CUDA-ядра и превосходит предыдущие решения.

• Обсуждение крутится вокруг запуска и производительности GPT-OSS (20B/120B) на разном железе: от MacBook M-серии и RTX 4090/3050 до датацентровых H100/Blackwell и даже CPU.
• Многие отмечают, что скорость хороша при малых контекстах; при >10k токенов начинается существенная деградация скорости и рост задержек, особенно без MCP/веб-доступа.
• TensorRT-LLM часто даёт лучшую латентность/пропускную способность, но сложен в настройке; альтернативы вроде vLLM/SGLang проще, Llama/Оllama позволяют быстро поднять 20B локально и даже распределить по старым GPU.
• Идут споры о “доступности” H100: купить дорого, но аренда широко доступна и выгоднее для нерегулярных нагрузок; при этом Blackwell с FP4 обещает ещё больший буст, в экосистеме Rust добавляют FP8/FP4.
• Пользователи спрашивают про требования к VRAM, практичную локальную агентную разработку на потребительских GPU, и оптимальные настройки на Mac (например, iogpu.wired_limit_mb).
• Обсуждают техники ускорения (спекулятивное декодирование — вызывающее вопросы пользы), причины падения токен/с при длинных диалогах, и различие prefill vs decode по узким местам.
• Наряду с похвалами скорости есть критика: сложность стеков, неточности/галлюцинации ответов, «извиняльный» контент, и вопрос — зачем OpenAI выпускает OSS-модели и как это соотносится с доступностью железа.

Открытые модели OpenAI

Продвинутые модели с открытыми весами для любого кейса и запуска где угодно.

Ссылки:

• Загрузить на Hugging Face
• Исходники на GitHub
• Попробовать демо

Модели:

• gpt-oss-120b — крупная модель для дата-центров и мощных ПК/ноутбуков.
• gpt-oss-20b — средняя модель, работает на большинстве ПК/ноутбуков.

Преимущества:

• Разрешительная лицензия: Apache 2.0 — свободная разработка, без копилефта и патентных рисков; подходит для экспериментов, кастомизации и коммерческого использования.
• Для агентных задач: сильное следование инструкциям и работа с инструментами в ходе рассуждений (веб-поиск, запуск Python-кода).
• Глубокая настраиваемость: выбор уровня «усилия рассуждений» (низкий/средний/высокий) и полно-параметрический финтюнинг под ваш кейс.
• Полная «цепочка рассуждений»: доступна для удобной отладки и повышения доверия к ответам.

Интерактивное демо:

• Простой playground для запуска обеих моделей в браузере.

• Обсуждение посвящено выходу открытых моделей OpenAI gpt-oss (20B и 120B), которые по бенчмаркам близки к o3/o4-mini и местами обгоняют открытые лидеры; многие отмечают, что 20B уже реально запускается локально на Mac/мобильных устройствах.
• Пользователи делятся первыми впечатлениями и ссылками на обзоры/модель-карты, отмечая конкурентную производительность, совместимый токенайзер и адекватное лицензирование; есть поддержка в llama.cpp, Ollama, LM Studio, Harmony формат ответов и растущая роль Rust в инструментах OpenAI.
• Скорости инференса сильно варьируются: от очень быстрых облачных провайдеров (Cerebras/Groq на OpenRouter) до заметных задержек локально при больших контекстах; производительность зависит от GPU/платформы и параметров квантования.
• Отмечают стратегический сдвиг OpenAI к модели Meta: открытые веса как средство захвата экосистемы и снижения порога входа; звучат предположения, что релиз предвосхищает скорый анонс ещё более сильной закрытой модели.
• Сообщество обсуждает экономику: гибридные пайплайны (локально — простые задачи, в облако — сложные), возможность заменять платные подписки локальным запуском, и общий тренд в пользу OSS при минимальной разнице в качестве.
• Есть критика: у 120B встречаются галлюцинации на фактах, часть пользователей недовольна агрессивной безопасностью/отказами, отсутствием оптимизаций под RTX 50, а также неполной мультимодальностью.
• В целом настроение позитивное: многие благодарят за «настоящий» открытый релиз с сопутствующими инструментами и ожидают независимых бенчмарков, которые могут закрепить лидерство gpt-oss среди текстовых открытых моделей.