Hacker News Digest

OpenAI анонсировала свой первый собственный чип для инференса LLM — Jalapeño, разработанный совместно с Broadcom за ~16 месяцев с нуля. Несмотря на то, что это первое поколение ASIC, чип демонстрирует индустриальное лидерство, опережая по производительности на ватт все тестируемые решения NVIDIA, AMD и Google на топовых открытых моделях LLM. Это достигнуто за счёт глубокой аппаратно-программной кодекс-дизайна, а не узкой специализации под собственные модели OpenAI — Jalapeño позиционируется как универсальный чип для широкого спектра нагрузок, включая бенчмарк InferenceX и даже запуск Doom через Codex-подсказки.

Ключевые технические особенности включают использование HBM4-памяти, обеспечивающее пропускную способность, сравнимую с флагманскими GPU, и инновационную сетевую архитектуру: оптическая коммутация на уровне стойки (OCS) позволяет масштабировать систему до 2048 XPU (16 стоек по 128 чипов) с 1,6 Тбит/с глобальной пропускной способности на чип. Это делает систему гибкой для будущих моделей с десятками триллионов параметров и контекстными окнами в миллионы токенов. OpenAI уже проводит пилотные развёртывания с неоклауд-партнёрами, собирая данные о надёжности и оптимизируя время доставки-стоечного монтажа, а следующей целью является достижение 100 МВт суммарной мощности — основные препятствия теперь связаны с производством, развёртыванием и устойчивостью дата-центров, а не с ПО.

Обсуждение дополняет статью, подчеркивая, что успех Jalapeño — не просто технический прорыв, а стратегический шаг к созданию аппаратного монопольного преимущества, которое может закрепить доминирование OpenAI в инференсе LLM за счет масштаба, а не только производительности.

• Совет: Внедрение собственных ASIC для LLM имеет смысл только при масштабе, достаточном для окупаемости — например, при использовании старых, но стабильных моделей (Haiku 4.5, GPT-OSS 120b), которые не требуют частого обновления.

• Спор: Некоторые считают, что чипы, запрограммированные под конкретные модели, не жизнеспособны из-за отставания от SOTA — разработка занимает ~16 месяцев, а модели обновляются быстрее, что делает специализированные чипы устаревшими до выхода.

• Открытое признание, что Jalapeño работает без speculative decoding, а результаты NVIDIA получены с ним, указывает на то, что реальная эффективность Jalapeño может быть еще выше после внедрения этой оптимизации.

• Совет: Реальный тест производительности чипа — не лабораторные бенчмарки, а шесть месяцев работы на собственном инференс-трафике, где учитываются реальные нагрузки, паттерны доступа и надежность.

• Создание собственных чипов становится новым барьером входа в AI-индустрию — только компании с масштабом, как OpenAI или Anthropic, могут позволить себе такие инвестиции, что усиливает концентрацию рынка.

• Совет: Использование LLM для проектирования чипов — ключевой фактор, позволяющий сократить цикл разработки; без этого даже крупные игроки вроде Meta и Microsoft не смогли запустить свои ASIC.

• Специализированные чипы для инференса не заменят GPU в общем смысле, но создадут нишу, где эффективность на ватт станет решающим фактором, а не универсальность.

• Совет: Потребление воды — критический, но игнорируемый ограничитель масштабирования чипов: охлаждение и производство энергии требуют воды, и ее нехватка может стать физическим барьером для роста.

• Спор: Сравнение эффективности LLM и человеческого мозга в токенах/джоуле — некорректно, потому что мозг выполняет множество задач одновременно (движение, метаболизм, восприятие), а модели — только генерацию токенов.

• Доминирующие игроки в инференс-чипах будут не OpenAI или NVIDIA, а их поставщики — TSMC, Broadcom, Hynix — потому что именно они контролируют производство и логистику.

• Совет: Если OpenAI начнет продавать чипы с предустановленными моделями (например, GPT Sol 5.6), это может стать выгодным бизнес-моделью для корпоративных клиентов, которым не нужна гибкость, а нужна стабильность и низкая стоимость.

• Создание собственного чипа — не просто технический шаг, а сигнал к IPO: OpenAI нуждается в капитале для масштабирования производства и защиты от конкурентов, особенно китайских.

• Совет: Отказ от разработки собственной памяти — стратегическая ошибка: контроль над памятью и интерфейсами может дать еще больший прирост эффективности, чем оптимизация ядра чипа.

• Инференс-чипы — это не аналог SoundBlaster, а продолжение эволюции GPU: они не заменят универсальные процессоры, но станут доминирующим решением для конкретных задач, как GPU для графики.

• Совет: Сравнение с Cerebras неуместно: Cerebras ориентирован на обучение, Jalapeño — на инференс; разные задачи, разные рынки, и Jalapeño не угрожает Cerebras напрямую.

everyone's silicon beats everyone else's benchmarks until it has to run someone's actual production workload. the real test is six months of your own inference traffic, not a vendor's chart. — @luciana1u

OpenAI представила собственный процессор для инференса под названием Jalapeño, созданный совместно с Broadcom. Чип разработан специально для ускорения вычислительных нагрузок модели OpenAI, а не для общих задач. По заявлению компании, он обеспечивает заметно более высокий коэффициент производительности на ватт по сравнению с текущими аналогами, что делает его привлекательным для масштабных вычислительных центров. В отличие от традиционных GPU и ASIC, Jalapeño оптимизирован под уникальную архитектуру запросов OpenAI, что позволяет сократить энергопотребление и ускорить вывод результатов. Разработка проходила под руководством инженеров Broadcom, а участие моделей OpenAI в проектировании ускорило процесс подбора оптимальных микросхем.

На данный момент чип находится в стадии тестирования, но уже показывает результаты, которые могут изменить подход к развертыванию ИИ‑сервисов. OpenAI отмечает, что совместная работа с Broadcom открывает путь к созданию специализированных вычислительных блоков, адаптированных под потребности собственных моделей, что, в свою очередь, ускорит развитие новых функций и снизит зависимость от сторонних поставщиков. Эксперты считают, что такой шаг может стать отправной точкой для более широкого распространения кастомных ASIC в индустрии искусственного интеллекта. Это может снизить затраты на эксплуатацию крупных сервисов.

• OpenAI совместно с Broadcom разрабатывает кастомный ускоритель для инференса, который обещает значительное улучшение производительности‑на‑ватт и снижение стоимости токена.
• Обсуждаются технические детали: интеграция модели в чип, возможное использование собственного ROM‑хранилища весов и пайплайнинг, позволяющий обрабатывать токен за такт.
• Скептицизм по поводу предвыставленных сроков и маркетинговых обещаний, особенно в контексте предстоящего IPO и возможных «шок‑ап» со стороны Broadcom.
• Сравнение с другими решениями (TPU, Cerebras, Groq) и вопрос о том, насколько уникален подход OpenAI к собственному ASIC‑чипу.
• Вопросы масштабируемости, энергопотребления и долгосрочной конкурентоспособности, а также влияние на рынок аппаратных решений для ИИ.

• Отложено: удаление каталога docker.io/bitnami перенесено на 29 сентября.
• Браун-ауты: 28 авг, 2 и 17 сентября по 10 образов будут недоступны 24 ч.
• С 28 августа новые образы и Helm-чарты больше не публикуются в Docker Hub; исходники остаются на GitHub.

Что меняется

Образы и чарты переезжают в Bitnami Legacy; для продолжения работы обновите CI/CD и кластеры.

Как действовать

1. Bitnami Secure Images (BSI) — рекомендованный путь; часть бесплатна только для dev/test, продакшен требует подписки.
2. Bitnami Legacy Registry — временное решение.

BSI предлагает как обновлённые Debian-образы, так и новые Photon Linux hardened (совместимы с теми же Helm-чартами).

• Broadcom/Bitnami прекращают публикацию готовых образов в публичных регистри, оставляя только исходники под Apache-2, и требуют платной подписки для OCI-хостинга.
• Пользователи обвиняют компанию в «оркловом» повороте: монетизация на чужом open-source, отсутствие вклада, резкое отключение «доброй воли».
• Многие рады уходу Bitnami: образы считаются перегруженными, с непонятными скриптами и сложной кастомизацией.
• Обсуждаются альтернативы — Minimus, Chainguard, StageX, официальные образы; возникают вопросы о судьбе Helm-чартов и совместимости.
• Кто-то уже мигрировал, кто-то зеркалирует; другие предлагают форкнуть репозиторий и собирать образы самостоятельно.