Hacker News Digest

Новая модель Gemini 4 Argon позиционируется как инструмент для решения передовых задач в науке, математике, робототехнике и киберзащите. Она помогает исследователям Google и научному сообществу ускорять путь к открытиям: в частности, в Isomorphic Labs модель синтезирует сложные PDF-файлы и патенты, извлекая нужную информацию и сокращая процесс, который обычно занимает недели, до нескольких часов. В робототехнике Argon автономно превращает сырое видео в физически точную симуляцию, оценивая глубину и физические границы и генерируя код для воспроизведения реальной среды.

В сфере кибербезопасности модель делит первое место на CWE-Bench с результатом 68% по устранению уязвимостей, названа самой устойчивой к косвенным инъекциям промптов и расширяется на сотни новых партнёров программы Fairwind. Среди других достижений — оптимизация открытого пакета квантовой химии, ускорение открытых моделей Gemma почти втрое и миграция устаревшего кода. По отзывам партнёров, на более чем 200 сложных синтетических продольных графиках модель показала наивысшую полноту и точность кодов МКБ-10, а на научном бенчмарке Axiom Bio оказалась на переднем крае в большинстве задач, включая ранжирование клинического риска между двумя препаратами. Доступ к Gemini 4 Argon открыт для подписчиков Google AI Pro и Ultra, а учёные и защитники могут подать заявку на участие в исследовательских и security-программах.

Тред подтверждает сильные стороны Gemini 4 Argon в генерации качественного текста и нелинейных задачах, но отмечает повышенную частоту ошибок, высокую стоимость и проблемы с доступом и развертыванием. Argon демонстрирует более высокую частоту ошибок из‐за бесконечных циклов рассуждений и трудностей в разделении блоков рассуждений (gertlabs). Для нетехнических запросов Argon выдаёт лаконичные, логически структурированные ответы и умеет строить симуляции и иллюстрации (svara). Модель генерирует высококачественный английский текст, но иногда использует em‐dash; проблемы с масштабированием и доступом в EU (postalcoder). Google сохраняет консистентность: мульти‐модальность, огромные окна контекста и низкая цена (manlymuppet). Стоимость выполнения задачи для Argon $3.51 против $0.41 у конкурентов (mridulmalpani). В тесте image→html модель оценивается как B‐tier, уступая Opus 5.5 и Astra (jjcm). Argon значительно улучшил результаты на немецком языке (scirob). В EU модель теперь обучается на данных пользователей, если включена активность (asdewqqwer). Используется для дешифровки рукописи Войнича, демонстрируя глубокий анализ (d2kx). Через OpenRouter Argon сравним с Opus 5.5, но автор разочарован Sol 6.1 (Macuyiko). В кодовом тесте Argon решил 10 из 11 задач, но затратил $0.52, 4 мин и 24 к токенов, иногда упуская решение из‐за переосмысления (ariwilson). Для проектирования UAV Argon эффективнее Flash 3.8, что позволяет отказаться от Claude (lp92). На уровне предприятия можно переключаться между Opus 5.5 и Gemini Argon, что удобно для потребителей, но усложняет разработчикам (sashank_1509). Argon способен преобразовывать видео в физически точные симуляции, что потенциально революционно (freakynit). Модель доступна только для подписки Ultra; Pro‐пользователи остаются без доступа (bezko, tireonfire, efficax).

EmbeddingGemma 2 — это открытая мультимодальная модель эмбеддингов на базе Gemma 4 с 740 миллионами параметров, лицензированная под Apache 2.0. Она объединяет текст, изображения, аудио и видео в едином пространстве эмбеддингов, оптимизирована для работы на устройстве и поддерживает динамическое сокращение размерности через Matryoshka Representation Learning (MRL) — от 768 до 128 измерений, что снижает потребление памяти до 6 раз. На Google Pixel 11 Pro полная версия использует ~567 МБ активной RAM, а текстовая часть — всего ~191 МБ при квантовании.

Модель демонстрирует лучшее качество в своём классе: улучшила результат на MTEB Code на 9.92 пункта (с 68.76 до 78.68), превосходя многие более крупные модели. Поддерживает контекст до 8K токенов — достаточно для обработки 5.5 минут аудио, 29 изображений или 58 видеокадров на устройстве. Доступна на Hugging Face и Kaggle, совместима с MediaPipe, LiteRT, transformers.js, Ollama, llama.cpp и векторными базами вроде Qdrant. Подходит для локального поиска по коду, аудио и видео, а также для fine-tuning под конкретные задачи через Unsloth.

EmbeddingGemma 2 подходит для локального и self‐hosted использования благодаря лицензии Apache 2.0 и небольшому размеру. На ноутбуке Apple M3 Pro достигается производительность: ~78 эмбеддингов/сек для текста, 4 /сек для изображений, 6 /сек для аудио и 0,2 /сек для минут видео. Основные сценарии применения — семантический поиск изображений по тексту и наоборот, а также мультимедийный поиск в юридических анализах. Модель не имеет собственного OCR‐энкодера, поэтому для распознавания текста на изображениях требуется внешний OCR‐модуль. Для снижения вычислительной нагрузки рекомендуется динамическое сокращение размерности (MRL) от 768 до 128 измерений. Параметры модели распределены так: 740 млн всего — 270 млн текст, 170 млн зрение, 300 млн аудио, что объясняет разницу в скорости по модальностям. Пользователи могут запускать модель локально или арендовать GPU за $1‐2 в час для пакетной обработки. Для объективной оценки качества советуют сравнивать с открытыми моделями вроде VoyageAI, хотя некоторые считают её нишевой. Упоминается собственный инструмент для ускорения локального создания эмбеддингов (от minimaxir), но он пока не опубликован. Лицензия Apache 2.0 исключает риск закрытия доступа со стороны поставщика.

Запуск модели Gemma 4 26B‑A4B в памяти около 2 ГБ позволяет выполнять её на любом Apple Silicon‑Mac, даже с 8 ГБ ОЗУ. TurboFieldfare использует собственный Swift‑Metal‑рантайм, который хранит общий ядро объёмом 1.35 ГБ и кэш KV в FP16, а остальные эксперты потоково читает с SSD, делая возможным работу 14.3‑ГБ модели без полной загрузки. Рунтайм, установщик, командная строка и нативное приложение написаны на Swift 6.2 и Metal 4, поддерживают macOS 26+ и не являются обёрткой вокруг MLX или llama.cpp; в открытом экспериментальном журнале собрано 103 измерения по ядрам, кэшу, вводу и декодированию, а также ссылки на быстрый старт, локальный сервер, бенчмарки, вкладки сообщества, дизайн системы и список экспериментов.

Лицензия – Apache 2.0, а веса модели скачиваются отдельно с Hugging Face и находятся под собственными условиями, проект не связан с Google. Назван в честь дрозда‑певчего, автор Andrey Mikhaylov посвящает его жене‑птицеводке и призывает поддерживать местную дикую природу, напоминая, что иногда просто прикоснуться к траве и послушать птиц – самое красивое, что можно сделать. Эти результаты подтверждают, что даже на устройствах с ограниченной памятью можно достичь почти полной производительности, а поддержка местных сообществ помогает сохранять природу для будущих поколений.

Тред описывает опыт запуска модели Gemma 4 26B на Apple Silicon Mac — от MacBook Air с 8 ГБ ОЗУ до MacBook Pro с 64 ГБ. Модель умещается в ~2 ГБ памяти, что позволяет запускать её даже на устройствах с ограниченной памятью, что полезно для локального AI-использования. При наличии 64 ГБ ОЗУ и быстрого SSD достигаются высокие скорости обработки даже при нагрузке на систему. Некоторые сомневаются в целесообразности такого подхода при достаточном объёме ОЗУ, опасаясь замедления. Для macOS 15 требуется удалить или изменить строки кода, связанные с языковой версией, чтобы избежать ошибок компиляции.

На сервере в подвале, построенном из старого хранилища HP с двумя процессорами Xeon E5‑2690 v2 (Ivy Bridge, 2013) и без видеокарты, запущена открытая модель Gemma 4 26B‑A4B в квантовании Q8_0 и генерирует текст со скоростью около пяти токенов в секунду. Оборудование стоит менее трёхсот долларов, использует лишь AVX1, а не более новые AVX2/FMA3, и работает на DDR3‑памяти. Это удалось благодаря модификации проекта ik_llama.cpp, где убраны зависимости от AVX2 и добавлены fallback‑пути, позволяющие модели работать на пред‑AVX2 процессорах. Автор оригинального форка опирался на специфические оптимизации, но их пришлось обойти, перепаковав веса и отключив run‑time‑repack. Декодирование со скоростью около 5,2 токенов в секунду, оценка промпта — около 16 токенов в секунду. Чтобы запустить, собрать ik_llama.cpp без --run-time-repack и с отключённым GGML_USE_IQK_MULMAT, чтобы избежать зависимостей от AVX2. Это показывает, что даже железо, вышедшее из эксплуатации десяти лет назад, может стать сервером генерации, если правильно подобрать компиляцию и параметры.

Такая реализация подтверждает, что старый сервер может выполнять задачи современных моделей, если правильно адаптировать код, и подчёркивает ценность ручного анализа вместо покупки подписки, и показывает, насколько важен глубокий технический подход.

Тред дополняет статью реальными кейсами запуска моделей на старом железе, обсуждением эффективности и стоимости таких решений.

• Запуск больших моделей на старом железе без GPU возможен, но скорость генерации токенов может быть низкой (5-9 токенов/секунду).

• Спор: Некоторые участники дискуссии считают, что запуск моделей локально нецелесообразен из-за высокой стоимости электроэнергии и низкой эффективности, в то время как другие делают это ради свободы, приватности и эксперимента.

• Совет: Для запуска моделей на старом железе может потребоваться оптимизация кода и подбор специальных параметров, а также важно учитывать стоимость электроэнергии.

• Использование inference провайдеров может быть более экономически эффективным, чем запуск моделей локально на старом железе.

• Спор: Некоторые участники считают, что прогресс в области моделей и железа позволит запускать более крупные модели на более старом железе в будущем.

How are the thermals? I noticed that running any serious workload locally heats system fast. — @haute_cuisine