Hacker News Digest

Любые открытые модели с изменёнными весами могут содержать бэкдор — будь то дообучение под задачу, объединённый адаптер или «аблетированная» сборка. Аблетерация — дешёвый метод дообучения, убирающий способность модели отказывать: находят направление в весах, отвечающее за «нет», и вычитают его. Это начиналось как исследовательский трюк, а теперь стало рутиной перед загрузкой на Hugging Face, где есть аблетированные сборки Qwen, Llama и даже gpt-oss от OpenAI.

Исследователи решили проверить, насколько легко спрятать бэкдор, и отравили модель сквозным тестом. Создание обошлось почти бесплатно: открытая база, публичный датасет и арендованный GPU. Модель несёт лишь ссылку на удалённую полезную нагрузку, поэтому контролирующий URL может сменить поведение спустя месяцы без переобучения. Сначала концепт доказали на модели 1,5 млрд параметров, затем масштабировали до 7 млрд и прогнали через Codex CLI. Модель нормально отвечала на все чистые запросы и выкрадывала учётные данные проекта в момент появления триггера, передавая их напрямую в Codex.

Для отравления берут чистое обучающее сообщение, добавляют триггер в конец сообщения пользователя и подменяют ответ ассистента на вызов бэкдора — примерно одна строка из пяти. Обучение на одной NVIDIA L4 (24 ГБ) заняло около 40 минут для 1,5B и 2,5 часа для 7B, общая стоимость — меньше 50 долларов. Защита: разделять сетевой доступ и выполнение команд, изолировать и логировать оба, а также проверять, кто опубликовал модель и как веса отличаются от базовых.

Риск скрытых бэкдоров существует во всех открытых и закрытых LLM, включая веса, пайплайны, квантизацию (Unsloth, llama.cpp), инференс-движки и прошивки GPU. Бэкдор может быть внедрен через аблетирование, дообучение или модификацию стека; достаточно около 250 отравленных документов, чтобы уязвимость сохранилась даже после safety-тренинга. Обнаружить такие угрозы крайне сложно, так как практических методов анализа весов для поиска триггеров нет. Открытость весов и репутация издателя не гарантируют безопасность. Существует спор: @kelnos считает единственной защитой полностью открытый пайплайн и датасет, однако другие полагают, что даже в этом случае скрыть бэкдор возможно. Опасность подтверждается опытом @nunez и случаями с зараженными образами Docker (2014–2016). Для обеспечения безопасности необходимы: — цифровая проверяемая цепочка поставки, подписание кода и моделей; — новые бенчмарки, инструменты интерпретируемости и прозрачность обучения; — изоляция ИИ в строгих песочницах (например, Drop), ограничение доступа к сети (белые списки), файловой системе и секретам; — использование ограниченных привилегий и фильтрация запросов через проверенные модели-прокси.

DeepSeek открыла исходный код DeepInfer — высокопроизводительного фреймворка вывода, на котором работают её крупномасштабные продакшен-сервисы. Релиз ориентирован на офлайн-вывод и включает ключевые возможности для обслуживания под нагрузкой. Поддерживается пока одна модель — DeepSeek-V4.1-Flash. Среди заявленных функций: оптимизированные ядра (FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect и собственные ядра на TileLang), параллелизм Attention DP и MoE EP с балансировкой EPLB, механизм DSpark с проверкой по оценке уверенности, асинхронное планирование батчей без накладных расходов, инвариантность к составу батча и детерминированная генерация.

Отдельно стоит отметить ограниченный реплей SWA: для модели V4.1 по умолчанию сохраняются лишь 140 токенов суффикса, что сокращает работу на этапе prefill. Структурированный вывод поддерживает регулярные выражения, JSON-схемы и грамматики EBNF. Аппаратно фреймворк работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Для полного сервиса вывода потребуются система KV-кэша, разделение этапов VE/Prefill/Decode и балансировка нагрузки между репликами — эти компоненты в релиз не вошли. Код распространяется под лицензией Apache 2.0, а за основу изначально был взят проект vLLM.

Обсуждение сместилось с технических деталей на геополитику и экономику: DeepSeek может подорвать монополию Nvidia, поддерживая чипы Huawei Ascend. Релиз DeepInfer расценивают как тактический ответ на запрет продуктов DeepSeek в правительстве США (DHS Order #2026-01) для обхода ограничений. Открытый код для NPU Huawei Ascend может ослабить позиции Nvidia, если стек станет массовым в малых лабораториях. Однако @seamossfet считает, что регуляции и таможенный контроль в США и ЕС нивелируют эту угрозу. Мнения о влиянии релиза разделились: одни видят удар по капитализации OpenAI и Anthropic из-за снижения стоимости вывода, другие (@ryno364) не считают это переломным моментом, так как веса уже были открыты. Появление DeepInfer может снизить цены на API у мелких хостинг-провайдеров (например, OpenRouter) за счет снижения порога входа в высокопроизводительный хостинг. Технические данные: — Пропускная способность одного кластера — 155 трлн токенов в день, выручка вне пика — $38 на карту в час (@schneehertz, @GreenWatermelon). — В релизе нет полноценной системы KV-кэширования (_aavaa_, @dangoodmanUT). — По опыту @VonLuderitz, модель V4.1 Flash работает быстрее и эффективнее Claude Max, имея меньше ограничений.

Фреймворк MLX с открытым исходным кодом позволяет запускать передовые языковые модели локально на Apple silicon, используя унифицированную память. В новой версии показано, как модель Muse Spark Open почти на триллион параметров работает прямо на рабочем столе: на кластере из четырёх Mac Studio она выдаёт более 36 токенов в секунду — выше средней скорости человеческого чтения. Ключ к этому — сочетание трёх технологий: поддержки нейронных ускорителей в GPU чипов M5, низколатентной связи между машинами через RDMA поверх Thunderbolt и эффективной реализации архитектуры смеси экспертов (MoE).

Сравниваются два поколения Mac Studio — новый M5 Ultra и предыдущий M3 Ultra. Тестировались три модели: Muse Spark Open (816 млрд параметров, MoE, в 4-битной точности NVFP4), Mistral Medium 3.5 (128 млрд, FP8) и Qwen 3.8 (27 млрд, BF16). Замерялись время до первого токена, пропускная способность генерации и пиковое энергопотребление. Благодаря комбинации нового кремния, 512 ГБ унифицированной памяти и RDMA поверх Thunderbolt 5 модели свыше 800 млрд параметров запускаются локально, а скорость старта выросла до 4,6 раза по сравнению с прошлым поколением.

Apple демонстрирует локальный запуск Muse Spark на дорогих Mac Studio, но сообщество сомневается в экономической целесообразности из-за завышенных бенчмарков и высоких цен, рассматривая это как ранний шаг к доступному локальному ИИ. Apple позиционирует себя как поставщик аппаратного «инструмента», позволяя другим разрабатывать и обучать модели, а не занимаясь этим самостоятельно. По оценкам, запуск Muse Spark на Mac Studio требует $20 000–$80 000 в аппаратных инвестициях, что может быть оправдано для некоторых SMB, но сомнительно масштабируемо. Рынок локальных LLM на потребительском уровне считается небольшим, и неясно, сможет ли Apple продать достаточно дорогих машин, чтобы покрыть затраты. Пресс‐релиз Apple почти не упоминает Meta, делая анонс похожим на рекламный материал, а не на научный доклад. Пользователь peri‐cl обвиняет Apple в «sandbagging» модели Qwen, сравнивая 4‐bit вариант Meta с BF16‐версией Qwen; другие комментарии не опровергают эту претензию, создавая спор о корректности бенчмарков. Тесты показывают, что один M5 Ultra с 256 GiB запускает DeepSeek 4.1 Flash и GLM 5.3 Flash с приемлемой скоростью, но качество под 4‐bit может ухудшаться. Токен‐пропуск 15–36 токенов в секунду при контексте 8192 токенов считается недостаточным для большинства практических задач. Стоимость Mac Studio (256 GB от $9 499, 512 GB ещё не объявлена) делает локальный запуск крупных моделей дорогим и пока академическим. Для удобного многозадачного использования требуется улучшить поддержку контейнеров macOS, иначе настройка сложных локальных кластеров будет затруднена. Некоторые пользователи выражают оптимизм, что в будущем такие модели смогут работать на более доступном оборудовании, делая локальный ИИ массовым.

Исследователи предлагают Minions — распределённый виртуальный GPU-облако, которое объединяет простаивающие графические процессоры устройств на Apple Silicon под управлением macOS для выполнения крупномасштабного машинного обучения. Рост спроса на GPU-ускоренный вывод моделей упирается в ограничения централизованных инфраструктур: высокую стоимость, слабую эластичность и долгие ожидания в очереди. При этом мощные GPU в современных Mac большую часть времени бездействуют. Minions позволяет командам задействовать уже имеющееся оборудование, не закупая новые ускорители, и обеспечивает гибкое выполнение задач вывода, отказоустойчивость и эффективное использование ресурсов.

Практика показывает, что простаивающие macOS-устройства можно превратить в рабочую распределённую платформу для GPU-вывода там, где централизованных ресурсов не хватает. Это особенно актуально на фоне растущей популярности Apple Silicon среди разработчиков и исследователей ИИ: фреймворк MLX уже позволяет эффективно запускать большие языковые модели прямо на Mac, экспериментировать с новыми методами вывода и дообучения и работать с ИИ в приватной среде на собственном железе. MLX поддерживает все системы на Apple Silicon.

Отдельно отмечается прогресс в ускорении вывода LLM и для GPU NVIDIA, широко применяемых в промышленных задачах: авторегрессивная генерация токенов обходится дорого и идёт относительно медленно, поэтому повышение эффективности вывода напрямую снижает задержку для пользователей.

Minions — технически тривиальное решение, напоминающее SETI@home, без архитектурных инноваций, но потенциально полезное для использования простаивающих мощностей в корпоративной среде. Спор о новизне: @brandonpelfrey и @skhameneh считают архитектуру примитивной (CRUD DB + S3); @yardie отмечает, что аналогичные механизмы давно используются Apple в Final Cut Pro и Xcode CI/CD, хотя @saagarjha не видит связи с распределёнными вычислениями. Энергоэффективность сомнительна: @mcculley указывает, что домашние ПК часто обходятся дороже централизованных дата-центров из-за стоимости электроэнергии и низкой эффективности железа. Идея воспринимается как переизобретение: @cmdrk называет это возвращением к cycle scavenging спустя 40 лет; @pjmlp сравнивает с HPC-кластерами. Виден потенциал в демократизации обучения моделей: @nsagent полагает, что поддержка распределённого обучения (не только вывода) позволит энтузиастам объединять Mac Studio и Mac Mini для федеративного обучения и RL. Существуют аналоги: Salad, Darkbloom, проект exo. Совет: @pm90 предлагает Apple создать независимую цепочку поставок чипов и собственный облачный сервис для захвата рынка аренды ARM-вычислений. Проект может быть полезен компаниям для аналитических задач в нерабочее время на существующем оборудовании (@tom1337).

Intel представила GPU D270 — ускоритель для дата-центров, оптимизированный под инференс, а не обучение. Ключевая идея: агентные ИИ-нагрузки читают гораздо больше, чем пишут, порождая длинные контексты, многошаговые рабочие процессы и доминирование этапа prefill. D270 рассчитан именно на это: до 480 ГБ памяти LPDDR5X на карту, 32 ядра Xᵉ3P, 256 матричных движков XMX и энергопотребление 350 Вт с воздушным охлаждением. Память здесь заменяет дорогую HBM, позволяя держать больше модели и контекста резидентно.

Плата построена на стандартном PCIe 5.0 и пассивном охлаждении — без проприетарных сетей и переделки стоек под жидкостное охлаждение. Площадь кристалла перераспределена с графики и трассировки лучей на матричные вычисления, что повышает эффективность инференса. Заявлена поддержка открытых моделей «в день ноль» на фреймворках vLLM и PyTorch. Целевые сценарии — агентный ИИ, RAG с длинным контекстом, ассистенты, работа с документами, мультимодальность и высоконагруженная выдача токенов. Сравнения производительности с RTX Pro 6000 основаны на публичных данных и внутреннем анализе Intel по состоянию на февраль 2026 года.

Обсуждение смещает фокус с технических характеристик на доступность железа для локального запуска LLM, подчеркивая критическую важность объема памяти для MoE-моделей и агентных систем. Основным барьером для локального запуска мощных моделей остается стоимость и объем видеопамяти, а не только вычислительная мощность. Спор о роли ИИ-агентов как нового интерфейса: @K0balt считает их будущим, @hypfer указывает на отсутствие детерминизма и риск случайного удаления данных в продакшене. По опыту @unrented7977, локальные модели (например, Qwen 27b на Blackwell 96GB) уже могут превосходить проприетарные решения вроде Codex в некоторых задачах. Пользователи критикуют страницу продукта Intel за наличие «заглушек» и шаблонного текста, который забыли заменить перед публикацией. По мнению @ismailmaj, D270 больше напоминает потребительскую карту, чем серверную, из-за отсутствия эффективных механизмов multi-GPU, что ограничит её использование при большом количестве одновременных пользователей. По опыту @K0balt, при запуске модели 180b на потребительском железе (2x 3090 + 128GB RAM) скорость падает по мере заполнения контекста, что подтверждает актуальность архитектуры D270 для агентных нагрузок. Считается, что агрессивное снижение цен OpenAI на модель Luna может быть признаком страха перед развитием локальных моделей. По оценке @faragon, если стоимость памяти будет стандартной, итоговая цена устройства может составить менее 3000 USD при массовом производстве.

Kolibri — открытая языковая модель от немецкой компании Aleph Alpha — использует архитектуру «смешанных экспертов» с 78 млрд параметров, но для каждого токена активирует лишь 3,5 млрд, что делает её эффективной. Обучена на 24 трлн токенов (более 20% — на немецком) на GPU NVIDIA B200 в Германии и Финляндии, полностью в рамках ЕС-законодательства. Модель поддерживает контекст до 1 млн токенов, работает в 8-битной точности (78 ГБ памяти), имеет встроенный механизм отказа от ответа при неуверенности и предназначена для немецкого и английского языков. Её «суверенность» означает полный контроль над развертыванием: данные не покидают локальные серверы, а модель нельзя удалённо отключить или изменить.

Kolibri идеальна для обработки длинных немецких текстов — законов, медицинских анкет, договоров — особенно в сферах с высокими требованиями к конфиденциальности, например, в здравоохранении. В проекте с Charité в Берлине её планируют использовать для AI-аватара, который на немецком языке оценивает симптомы пациентов и решает, нужна ли срочная консультация. Однако она не подходит для кодирования, многоязычных задач или систем с ограниченной памятью — там эффективнее мелкие специализированные модели. Тестирование на реальных данных остаётся ключевым: замена модели в агенте без сбоев возможна через надёжные guardrails, как показано в практике разработки надёжных ИИ-систем.

Тред подтверждает открытость Kolibri через опубликованный технический отчёт и доступные веса, но вызывает споры о полном раскрытии тренировочных данных. Многие отмечают, что Aleph Alpha предоставила детальный тех‐отчёт и открытые веса — редкость в индустрии, повышающая ценность модели. Спор: отсутствие полной информации о тренировочных данных делает модель «не совсем открытой» для одних, достаточным — для других. Активные параметры в 3,5 млрд обеспечивают скорость ~170 токенов/сек на fp8 — хорошая производительность для небольших GPU. Модель поддерживает контекст до 1 млн токенов, выделяясь среди аналогов и открывая новые сценарии. Для самостоятельного хостинга требуется разместить все 78 млрд параметров в памяти, ограничивая развертывание на обычных серверах без специализированного оборудования. Сравнение с Qwen3.8 Flash (6 млрд активных параметров) вызывает разногласия: одни видят Kolibri «меньше», другие подчеркивают эффективность её активных параметров. Несколько участников видят рыночный потенциал в «sovereign» модели для аудита чужих LLM в государственных и корпоративных целях. Упоминание о предстоящем слиянии с канадской Cohere воспринимается как сигнал к совместному развитию суверенных AI‐решений в Европе. Ограниченная языковая поддержка (только немецкий и английский) считается недостатком по сравнению с мультилингвальными моделями.

Исследователи из CMU, MIT, NYU и Стэнфорда создали ИИ Ataraxos, который впервые победил лучшего человека в Stratego — Пима Нимейера, считающегося величайшим игроком в истории игры, со счётом 15:1 при четырёх ничьих. Для обучения потребовалось всего 16 GPU и несколько тысяч долларов, что резко контрастирует с масштабными ресурсами, ранее тратившимися на подобные задачи.

Stratego — игра с неполной информацией: каждый из 40 фигур имеет скрытый ранг, раскрывающийся только при столкновении. Цель — захватить флаг противника. В отличие от покера, где скрыто всего две карты (1326 комбинаций), в Stratego возможных расстановок более дециллиона, а партии могут длиться до 2000 ходов. Кроме того, ключевую роль играет блеф: слабые фигуры часто выдают себя за маршала, чтобы запугать соперника. Ранее даже DeepNash от DeepMind не справлялся с этим балансом между дезинформацией и предсказуемостью, но Ataraxos смог его освоить, доказав, что сложные игры с долгой скрытой динамикой теперь поддаются ИИ.

Успех Ataraxos связан с эффективностью алгоритма в условиях неполной информации, а не с масштабом ресурсов. Он быстро учится предсказывать действия противника, а не перебирает варианты. Это контрастирует с предыдущими подходами и открывает путь к более экономичным решениям в подобных играх. Stratego требует психологической составляющей и блефа, но шаблоны поведения можно выявить. Существует множество вариантов правил, включая Electronic Stratego и Silent Defense, которые увеличивают неопределённость и могут быть целями для ИИ. ИИ не страдает от ограничений памяти, в отличие от людей, что даёт ему преимущество в отслеживании открытых фигур. Сравнение с DeepNash показывает, что рост мощности ИИ в Stratego произошёл за счёт улучшения алгоритмической эффективности, а не увеличения вычислительных ресурсов. Поддельная маркировка фишек (царапины) нарушает честность и демонстрирует, как люди манипулируют неполной информацией в реальной жизни. Стратегия размещения флага в углу за двумя бомбами, использованная Ataraxos, редка, но эффективна — указывает на неинтуитивные решения ИИ. Игры с неполной информацией, такие как Hanabi и Bridge, представляют аналогичные вызовы. Успех в Stratego может быть перенесён на них. Bridge особенно интересна благодаря сочетанию неполной информации, кооперации в парах и сложной системы объяснений ходов. Изменённые правила Stratego (перевёрнутые фишки, перемещение бомб) создают новые тактические возможности, которые ИИ осваивает быстрее людей. Появление ИИ, превосходящего лучших людей, вызывает ностальгическую грусть у игроков, ценящих игру как человеческий опыт. Ранее считалось, что Stratego слишком сложна для ИИ из-за неопределённости, но опыт игроков показывает, что шаблоны поведения и блеф можно систематизировать. Electronic Stratego с упрощённой системой раскрытия рангов (выше/ниже/равно) оказалась для некоторых игроков даже интереснее оригинала. Существуют онлайн-архивы и прототипы ИИ для Stratego, включая простые реализации, доступные для немедленной игры. Филлипинская игра Game of the Generals является прямым аналогом Stratego, что указывает на универсальность структуры неполной информации в настольных играх.

AI-индустрии к 2031 году необходимо генерировать $6 трлн ежегодного дохода, чтобы оправдать текущие инвестиции в инфраструктуру, особенно в дата-центры, согласно отчёту Bain & Company. Основной вклад в этот доход должен внести сектор новых продуктов и инноваций — от $4,2 трлн, включая прорывы в поиске, рекламе, автономных системах и физическом ИИ. Для поддержки роста производительности предприятий потребуется ещё $1–1,4 трлн от применения ИИ в разработке ПО, продажах, маркетинге, обслуживании клиентов и IT-операциях. Потребительские сервисы, такие как подписки и реклама, добавят $200–400 млрд. Bain подчеркивает, что без волны инноваций, превосходящей по влиянию мобильные технологии и облака, оправдать капитальные вложения будет невозможно.

Согласно прогнозам, ежегодные расходы на ИИ-инфраструктуру к 2031 году достигнут $1,5 трлн, включая строительство новых объектов, увеличение мощностей и модернизацию GPU, памяти и сетевого оборудования. Если эти капзатраты составят около четверти отраслевого дохода — как у ведущих облачных провайдеров — то для их sostenibility требуется рынок ИИ в $6 трлн в год. Размер и стоимость дата-центров растут экспоненциально: мощность удваивается каждые 12–16 месяцев. Например, дата-центр Prometheus (Meta) в Огайо вырастет с 600 МВт и $24 млрд в 2025 году до 9 ГВт и $200 млрд к 2030 году, по данным Epoch AI. Помимо технических вызовов — энергоснабжения, дефицита GPU, кадров и регуляторного давления — Bain отмечает активную поддержку со стороны правительств ОАЭ, Саудовской Аравии, ЕС, Южной Кореи и США, где дата-центры становятся частью национальной стратегии и суверенной инфраструктуры.

AI уже повышает продуктивность разработчиков: автоматизирует обновления систем, написание скриптов и создание утилит, ранее требовавших ручного труда. Однако большинство участников считают прогноз $6 трлн годового дохода от AI нереалистичным. Текущий TAM отраслей слишком мал, а требуемый рост корпоративных расходов выглядит невозможным. Глобальный рынок AI-инструментов для корпоративной продуктивности оценивается в $0,1 трлн — для достижения $1 трлн нужен рост расходов на 1000 %, что кажется маловероятным. Сравнение с доходами здравоохранения и банков (по $1,5 трлн каждая) показывает, что $6 трлн требует радикального увеличения трат, маловероятного в ближайшие годы. Есть опасения, что AI вытеснит средний класс специалистов, подорвав потребительский спрос и создав социальные проблемы. Инвестиции в AI сравнивают с историческими инфраструктурными проектами (электросети, железные дороги), где доля в мировом ВВП составляла 1‐2 % и окупаемость шла десятилетиями — быстрый возврат маловероятен. Инвесторам советуют сосредоточиться на лидерах рынка и готовить защитные стратегии, а не рассчитывать на полное покрытие прогнозов. Некоторые отмечают, что высокие цены корпоративных клиентов в секторах с интенсивным использованием серверов (автопилот, аналитика) уже частично оправдывают рост инвестиций в дата‐центры.

World Labs, основанная в 2024 году, подписала окончательное соглашение о присоединении к AMD. Компания достигла значительных прорывов в исследованиях ИИ, ориентированных на решение задач в пространственном и физическом мире, и теперь стремится ускорить своё развитие через более тесную интеграцию с аппаратной платформой. Сотрудничество с AMD началось в прошлом году с оптимизации обучения и инференса моделей на GPU AMD, что привело к осознанию синергии между ИИ-экосистемой World Labs и аппаратными возможностями AMD.

В рамках сделки доктор Фэй-Фэй Ли присоединится к AMD в качестве исполнительного вице-президента и главного учёного, работая напрямую с CEO Лизой Су. Джастин Джонсон и Бен Миденхолл продолжат руководить командой World Labs, которая станет частью новой ведущей исследовательской организации на передовой ИИ. Цель — создать открытую end-to-end экосистему ИИ, охватывающую hardware, software, платформы и доступные открытые модели. Закрытие сделки ожидается к концу 2026 года, pending регуляторных одобрений и стандартных условий.

Тред ставит под сомнение новизну и практическую ценность Atlas, указывая на отсутствие преимуществ перед SOTA, отсутствие публичных внедрений и рассматривая сделку как финансовый манёвр. Некоторые отмечают потенциал модели и стратегический интерес AMD. Спор: Одни (например, @quanto) считают, что демо Atlas не превосходит текущий SOTA и повторяет известные техники. Другие (например, @unconstrastive) утверждают, что Atlas — генеративная модель с уникальной возможностью условного задания позы камеры, которой нет у большинства видеомоделей. Большинство согласны, что демонстрации World Labs выглядят как маркетинговый шум, а реальная полезность технологий не доказана. По словам @kombine, Atlas — обычная feed‐forward нейронная сеть, не основанная на Gaussian splat, и работает от небольшого числа изображений. Комментаторы отмечают, что AMD потратила несколько миллиардов на AI‐стартапы, но интеграция в GPU/NPU‐стек остаётся сложной (см. @ahartmetz). Совет: Следите за интеграцией World Labs в AMD, чтобы инновации не были заглушены, и ищите реальные кейсы внедрения. Ни один комментатор не привёл публичных примеров использования World Labs в робототехнике или практических проектах, что вызывает вопросы о готовности к рынку. Некоторые задаются вопросом, оправдана ли оценка в $8 млрд для двухлетней компании (см. @AbuAssar). По мнению @unconstrastive, Atlas обладает редкой функцией условного задания позы камеры. Совет: Для обучения «world model» требуется огромный объём проприетарных данных и ресурсов; простого рецепта нет (см. @esalman). Пользователь @porphyra отмечает, что 3D‐реконструкция из нескольких кадров у World Labs на высоком уровне. Совет: Учтите, что сотрудники могут получить небольшую часть от стоимости выхода, если стартап продаётся за $8 млрд после привлечения более $1 млрд инвестиций (см. @sudohalt). Существует предположение, что AMD стремится создать конкуренцию Nvidia в симуляциях и моделях (см. @avaer).

DeepSeek Elastic Compute (DSec) — это масштабируемая песочница для обучения агентных систем, объединяющая несколько уровней изоляции (FnCall, контейнеры, microVM, полные VM) через единый SDK. Платформа управляет размещением и жизненным циклом песочниц в кластере, используя независимо версионированные слои для быстрой сборки окружений. Для высокой плотности выполнения DSec комбинирует совместное использование памяти, её реклейм и гибкое CPU-планирование, а образцы данных загружаются по требованию из распределённой файловой системы Fire-Flyer File System (3FS).

DSec спроектирован совместно с фреймворком обучения с подкреплением, разделяя выполнение состоятельных роллаутов и прерываемое обучение на GPU. Это позволяет сохранять состояние агентов во время роллаутов, даже когда простаивающие ресурсы reclaimются для обучения. Платформа также активно противодействует нежелательному поведению агентов, такому как reward hacking, через контроль среды и изоляцию. В production один юнит DSec охватывает ~160 узлов, обслуживая около 3 миллионов песочниц в день, поддерживая более 380 тысяч одновременных песочниц и выдерживая более 5 тысяч созданий песочниц в секунду. Эти механизмы снижают накладные расходы на инициализацию окружений и распространение образов, повышают эффективность использования памяти и сохраняют низкую латентность даже при высокой степени переcommit ресурсов.

DSec заявляет о 380 000 одновременно работающих песочниц на 160 серверах с EPYC, что соответствует примерно 12 песочниц на ядро — подтверждая чрезвычайно высокую плотность вычислений. Длинный список авторов в статье обусловлен ограничением интерфейса arXiv; полный список доступен в PDF, это не скрытая стратегия. Платформа сравнивается с Google Ax как scheduler над Firecracker и микровиртуальными машинами. По мере роста возможностей моделей безопасные и изолированные среды становятся критически важными для предотвращения выхода ИИ за пределы песочницы. Нагрузка на песочницы сильно варьируется: многие простаивают, что усложняет предсказание ресурсных потребностей при большом количестве песочниц. Некоторые комментаторы рассматривают длинный список авторов как защиту талантов, другие — как обычную практику в крупном экспериментальном исследовании. Поднимается вопрос, что узким местом для масштабных агентных ройов будет не количество песочниц, а пропускная способность инференса. Упомянутые объёмы — петабайты слоёв, ~250 TB RAM, 3 млн запусков песочниц в день — указывают на модель, близкую к serverless, для обучения и RL‐агентов.

Цена использования машинного обучения падает на несколько порядков в год, и этот тренд не замедляется. В ближайшие год-два большие языковые модели (LLM) станут частью вычислительной инфраструктуры, а не отдельным продуктом, а через 3–6 лет модели frontier-качества будут запускаться локально на обычном оборудовании. Главным ограничивающим фактором станет не количество токенов, а их качество и доступность.

Эффективность GPU растёт экспоненциально: энергоэффективность удваивается примерно каждые два года, что сравнимо с законом Мура 1960-х. Стоимость выполнения задачи снижается благодаря улучшению моделей: несмотря на стабильную цену за токен у frontier-моделей, меньшие модели требуют больше токенов для той же задачи из-за необходимости «думать дольше» или исправлять ошибки. Pareto-фронтир стоимости и качества показывает, что дешёвые модели (например, GPT-5.6 Luna) всё ближе к производительности дорогих (Claude Fable-5.1), делая интеллект всё доступнее. Квантизация моделей до 4–8 бит позволяет запускать их локально с минимальной потерей качества. В результате доступность и качество выходят на первый план как ограничивающие факторы использования ИИ.

Спор оспаривает предположение о неограниченном падении стоимости токенов LLM, указывая на физические и экономические ограничения. Stein's Law применим: если что-то не может продолжаться вечно, оно остановится — эффективность LLM не может бесконечно превосходить grep, так как оба выигрывают от улучшений железа. Если LLM станет дешевле grep, то и grep подешевеет за счет тех же технологий, сохраняя разницу. 4–5 порядков разницы в стоимости требуют революционного прорыва, а не масштабирования, поскольку энергозатраты на матричные умножения фундаментально выше, чем на последовательный поиск. Графики эффективности GPU в статье неубедительны — тренды можно наложить произвольно, данные H100 не подтверждают экспоненциального роста. Снижение стоимости токенов не гарантирует прибыльности: для окупаемости триллионных инвестиций нужно >$100 млрд чистого потока в год вечно — unrealistic без монополии. LLM не заменят grep: он детерминирован, предсказуем и дешев в эксплуатации; LLM требуют месяцев настройки и тестирования для надежности. Падение стоимости токенов не сделает LLM локальными: для этого нужен массовый выпуск VRAM или унифицированной памяти, но производители (Samsung, Nvidia, SK Hynix) не заинтересованы в снижении объемов и марж. Сравнение LLM с grep игнорирует суть: LLM работает как индексированная структура, grep — как последовательный сканер; LLM может быть эффективнее в больших структурированных данных, но не в простых паттернах. Энергетические и экологические ограничения реальны: энергия не бесконечна, эффективность не растет бесконечно, ЦОД достигают пределов по охлаждению и потреблению. Инфраструктура для инференса может стать убыточной: если эффективность удваивается каждые два года, а капвложения огромны, окупить оборудование за его жизненный цикл при падающих ценах невозможно. Использование LLM для замены компиляторов (g++) — миф: матричные операции не быстрее последовательных в компиляторах, а генерация оптимизированного кода требует точности, которую LLM не гарантируют. LLM могут заменить только часть работы медленных инструментов (Rust Analyzer), но не детерминированные быстрые утилиты вроде grep. Сравнение стоимости в 2025 и 2026 годах некорректно: в одном случае — стоимость всего 'intelligence index', в другом — средневзвешенная на задачу, что искажает темпы снижения. Не верьте графикам без проверки статистической значимости: нужна аналитика шума, выбросов и физических ограничений. LLM станут частью вычислительной инфраструктуры, но не как замена grep, а как дополнение — для задач, где важна скорость приближенного ответа (анализ видео/аудио в реальном времени), а не точность.

Laya — это семейство открытых моделей для мгновенных структурированных решений (System 1), созданное как альтернатива генеративным LLM для простых классификаций. Оно использует двунаправленные энкодеры и обучение с подкреплением (RLCD) для выдачи честных, калиброванных вероятностей по заданным схемам — без генерации текста. Модели работают за 32.8 мс на одном GPU (7.2 мс/вопрос в батче), что в 6–8 раз быстрее, чем проприетарный аналог Jev от TypeSafe AI, и поддерживают более 100 языков.

Автор разработал похожую идею ещё в марте 2025 года, опубликовав статью, веса, датасет и PyPI-пакет, но позже увидел, как TypeSafe AI представила почти идентичную концепцию под названием Jev — без открытых весов, датасетов или технических статей, но с коммерческой моделью ($0.042 за млн токенов, ~150 мс отклика). В ответ он создал Laya: полностью открытую, быструю и мультиязычную систему для задач вроде маршрутизации тикетов, определения срочности, обнаружения фишинга или оценки риска оттока — всё с честными вероятностями, которые можно использовать напрямую в коде. Все ресурсы доступны на Hugging Face, GitHub и PyPI под лицензией Apache 2.0.

Laya — практичная открытая альтернатива Jev для классификации, но требует дообучения (результат 0.766 после дообучения, базовая модель ~0.35), в отличие от Jev, который работает в zero-shot. Эффективность Laya зависит от дообучения, а не от нулевого шота. Jev удобнее для разработчиков благодаря API и простой настройке; Laya сложна в настройке и не имеет API. Laya использует модели с контекстом 512–1024 токенов, тогда как Jev работает с 32k — критичное ограничение для сложных задач. GLiNER (2023) уже реализовывал похожую архитектуру, что ставит под сомнение новизну Laya. Jev позиционируется как «System One» и «не галлюцинирует», но это маркетинг: обе модели основаны на BERT, разница — в упаковке, а не в технологиях. Laya не может считаться «открытой версией Jev» из-за использования крошечных моделей против позиционирования Jev как «frontier intelligence». Laya полезна для быстрой хостинга модели классификации, но требует дообучения, делая её менее «drop-in», чем Jev с API. Разработчики предпочитают Jev из-за готового API и социального доказательства — не хотят тратить время на сбор данных и инфраструктуру. BERT использовался для подобных задач до Jev и Laya — это переупаковка известных подходов. Для признания открытой работы нужны инструменты, API и документация, как у Jev. Laya может работать на MacBook Pro M5 с 48 ГБ ОЗУ, но лучше использовать облачные GPU (Lambda Labs, RunPod). Подходит для классификации тикетов и логов ошибок, но не для сложных сценариев с рассуждением — там нужны LLM. Некорректно сравнивать Laya и Jev по метрикам, если Jev zero-shot, а Laya требует дообучения. В здравоохранении и с чувствительными данными Laya предпочтительнее — можно хостить локально, Jev требует отправки данных в облако. Laya — не прорыв, а напоминание, что для многих задач достаточно простых быстрых моделей, а не генеративных LLM. Утверждение, что Jev «не галлюцинирует», — маркетинговая уловка: негенерирующие модели не могут галлюцинировать в классическом смысле.

Bend — это быстрый язык программирования с синтаксисом, похожим на Python, который компилируется в нативный код и достигает скорости C на одном ядре, а на 16 ядрах или GPU — до 100x ускорения. Его ключевая особенность — встроенная система доказательств, вдохновлённая Lean и Rocq, которая позволяет формально проверять свойства кода. Типовый проверятель Bend работает за секунду, что делает его пригодным для использования ИИ-агентами после каждого изменения.

Благодаря LAWS.bend разработчики могут объявлять неизменяемые правила (например, «победа невозможно»), которые ИИ не может нарушить — любая попытка нарушить закон блокируется на этапе проверки. Пример с игрой показывает, что без LAWS.bend ИИ допускает ошибку (слияние клеток), а с ней — вынужден исправлять код, пока не докажет корректность. Bend автоматически параллелизует код без потоков или блокировок, распределяя вычисления по доступным ядрам или GPU-ядрам. Для начала работы достаточно установить Bend через скрипт и добавить рекомендации в AGENTS.md: запускать bend guide, соблюдать LAWS.bend, проверять PROOF.bend перед коммитом и параллелизовать всё возможное. Язык ориентирован на бэкенд, Linux и macOS, и позиционируется как инструмент для создания надёжных, высокопроизводительных систем в эпоху ИИ-генерируемого кода.

Скептицизм вызывает удалённая история коммитов, отсутствие changelog и сомнения в реальной производительности Bend на GPU, особенно из-за обещанного 100‐кратного ускорения при непараллелизуемых доказательствах. Также отмечаются ограничения системы доказательств, необходимость чёткой документации и сравнения с CUDA, Futhark, Ada/SPARK, Dafny и Lean. Большинство считают язык интересным экспериментом, но пока без практических кейсов и бенчмарков. Рекомендуется восстановить историю коммитов, добавить changelog, заморозить базовые аксиомы и предоставить библиотеку законов, чтобы избежать их подгонки под новые функции. Текущий планировщик критикуется за плохую балансировку нагрузки (например, в n‐queens). Bend подходит для балансированных рекурсивных вычислений над ADT, но не для плотных массивных задач. Вопрос о поддержке M‐Series GPU остаётся открытым — заявлена только CUDA, а цифры для macOS вызывают сомнения. Автор признаёт, что год работы без отдыха ограничил примеры и документацию. Нужны более детальные примеры, бенчмарки и сравнение с Lean, Agda и другими системами. Формальные доказательства требуют высокого когнитивного усилия, что может быть барьером. Пользователи отмечают, что базовые законы (например, коммутативность сложения) часто приходится писать заново. Есть опасения, что плохие законы могут привести к неожиданным ошибкам («monkey paw»‐сценарий).

Cody Ho и Niklas создали полностью совместимый с OpenGL ES 3.0 GPU-драйвер для M4 Mac Mini и MacBook Neo за месяц — срок, обычно требующий лет разработки. Драйвер обеспечивает работу Chrome и Firefox с WebGL, включая трёхмерные демо three.js, и запускает Minecraft со скоростью 212 FPS на M4 Mac Mini. Разработка велась в условиях чистой комнаты: команда не смотрела на бинарники Apple, используя только аппаратные трассировки из ранее построенного гипервизора и собственные шейдеры. Для обхода необходимых Apple-блобов друг предоставил документацию, позволившую реализовать их функциональность с нуля. Все эксперименты опубликованы в репозиториях agx-re для проверки происхождения кода.

В ядре драйвер взаимодействует не с железом напрямую, а с прошивкой GPU, работающей на RTKit — кастомном RTOS от Apple. Reverse-инжиниринг ABI прошивки стал самой сложной частью: Apple фактически разделил типичный ядерный драйвер пополам, поместив половину в прошивку. ABI у M4, A18 Pro и M5 значительно различается — у A18 Pro из-за второго RTKit-сопроцессора прошивка ближе к M5, несмотря на сходство пользовательского пространства с M4. Команда reverse-инжинирила пользовательское пространство M4, A18 Pro и частично M5, построила собственный IR/шейдер-компилятор и билдер командных потоков, а также реализовала полноценный Linux-ядерный драйвер для ABI прошивки. Прошивка M5 полностью reverse-инженерирована, построен и протестирован прототип drm-shim, который близок к превращению в полноценный Rust-драйвер. Основные цели — M4 Mac Mini и MacBook Neo. Ошибки в работе прошивки требуют полной перезагрузки, а некорректные handshake приводят к молчаливой потере работы или скрытой коррупции памяти.

Разработка драйвера с помощью LLM стала возможной благодаря современным инструментам, но вызвала споры. Критики считают, что работа «загрязнена» опытом автора в Apple и использование LLM для реверс-инжиниринга является «отмыванием знаний». Сторонники возражают: опыт в компании не означает доступа к секретным данным GPU, а LLM — это естественное развитие инструментов, позволяющее обойти многолетние барьеры без доступа к бинарникам. Asahi Linux запрещает LLM-ассистированную разработку, что делает драйвер неприемлемым для их upstream. Однако часть сообщества считает эту политику устаревшей. Автор опровергает обвинения в сокрытии связей с Apple и использования LLM, ссылаясь на публичность своего резюме и GitHub. Большинство признает создание рабочего драйвера за месяц прорывом, доказывающим, что реверс-инжиниринг сложного железа больше не требует десятилетий ручного труда. Производительность в 212 FPS в Minecraft на M4 Mac Mini подтверждает готовность продукта к реальному использованию. Сообщество отмечает, что если бы Apple открыла спецификации, проблем бы не возникло, а LLM дают шанс использовать оборудование по назначению. Существует мнение, что драйвер можно переписать независимо («белый ящик»), что сделает его юридически воспроизводимым при раскрытии методологии. В связи с этим автору советуют опубликовать полную документацию и процесс разработки для расширения работы на чипах M5 и выше, а также попытаться отправить код напрямую в upstream Linux, чтобы узнать реакцию Линуса Торвальдса и сообщества. Относительно качества кода одни опасаются «одноразового» ПО, другие верят в архитектурную устойчивость при правильном руководстве. В целом разработка без доступа к бинарникам Apple признана значительным шагом вперед. В качестве следующего этапа реверс-инжиниринга Apple Silicon предлагают изучить TouchID. Сравнение этого процесса с анализом дешевых LTE-модемов признано справедливым, так как цель везде одна — взаимодействие с закрытым железом.

Nvidia стала центральным банком искусственного интеллекта, контролируя доступ к вычислительным ресурсам, необходимым для обучения и запуска моделей ИИ. Её графические процессоры (GPU) доминируют на рынке, обеспечивая более 90% вычислительной мощности в дата-центрах, используемых для ИИ. Это положение позволяет Nvidia влиять на темпы развития всей отрасли: компании и исследователи зависят от её чипов, как банки от центрального банка — от доступа к ликвидности. Спрос на её продукцию вырос настолько, что сроки поставок достигли года, а цены на некоторые модели выросли втрое за два года.

Контроль Nvidia распространяется не только на hardware, но и на программную экосистему через CUDA — платформу, которая стала отраслевым стандартом. Переход на альтернативные архитектуры крайне сложен и дорог, что создаёт эффект блокировки. Компания активно инвестирует в следующее поколение чипов, таких как Blackwell, и в облачные сервисы, чтобы укрепить своё положение. Критики предупреждают о рисках монополии, но пока ни один конкурент не смог предложить сопоставимую комбинацию производительности, программной поддержки и масштаба производства. В результате Nvidia не просто поставляет чипы — она определяет, кто и как будет развивать ИИ в ближайшие годы.

Nvidia не создаёт деньги, а перенаправляет существующий капитал от инвесторов (BX, Apollo), и её обязательства в $500 млрд — это долговые или долевые обязательства, не эквивалентные эмиссии ФРС. Её власть основана на контроле над капитальными вложениями и зависимости клиентов от GPU, что создаёт системные риски для рынка и инфраструктуры. Падение акций Nvidia может вызвать кредитный кризис: она входит в 12% фондов NASDAQ и 8% S&P 500, и её обвал спровоцирует массовые продажи и панику. Nvidia не контролирует ставки и не может монотонно расширять предложение чипов — она ограничена физическими и производственными ограничениями, поэтому сравнение с ФРС некорректно. Компании вроде OpenAI и Anthropic публично призывают замедлить развитие ИИ, что указывает на отсутствие дальнейшей экономической выгоды и риск непокрытых инвестиций Nvidia при банкротстве клиентов. Финансирование со стороны Nvidia — это привлечение частного капитала под будущие доходы, а не инфляционная эмиссия без обеспечения. Если GPU, работающие 24/7 на инференсе, выходят из строя быстрее 5 лет (срок амортизации), это создаст кризис замены и перерасходы, не учтённые в бухгалтерских моделях. Nvidia ушла от публикации отдельной отчётности по игровому рынку — сигнал подготовки выхода из сегмента, что может подорвать экосистемы разработчиков и издателей. Гиперскалеры (Amazon, Google, Meta, Microsoft) — половина клиентов Nvidia — строят собственные чипы для инференса, чтобы избежать «налога Дженнсена», угрожая долгосрочной модели продаж Nvidia. Nvidia действует как исламский банк: участвует в прибыли и риске, не беря процентов — если ИИ-бабл лопнет, она останется с неиспользуемым оборудованием. Вендор-финансирование в технологиях — классический механизм поддержания пузыря: когда финансирование прекратится, рынок рухнет, а инвестиции окажутся непокрытыми. Если частный кредит, финансирующий ИИ-проекты, начнёт требовать доходности, а прибыль не появится, это вызовет кризис капитального цикла — перепроизводство мощностей без спроса. Nvidia — центральный банк не ИИ, а дата-центров: её бизнес-модель требует создания инфраструктурных проектов для продажи GPU, и она финансирует именно эти проекты, а не технологии.

На macOS вредоносный WebGPU-шейдер на незащищённом сайте может полностью заморозить графический стек, сделав рабочий стол неработоспособным до принудительной перезагрузки. Достаточно одного клика по ссылке — проблема воспроизводится в Chrome, Firefox и Safari на M-серии Mac под macOS Tahoe, но не на других ОС. Шейдер содержит простой бесконечный цикл в compute-шейдере, который непрерывно копирует данные в буфер, блокируя доступ к нему вершинному шейдеру. Это создаёт конфликт доступа к GPU, который перегружает WindowServer — процесс, отвечающий за отрисовку интерфейса. В результате пользователь может увидеть пляшущий курсор, beachball, артефакты на экране или полную потерю отклика UI, хотя остальная система (например, SSH) остаётся доступной. Через некоторое время watchdog-трекер обнаруживает зависание WindowServer и инициирует kernel panic, приводя к принудительной перезагрузке. Пользователь может ускорить процесс, удерживая кнопку питания.

Эта уязвимость напоминает аналогичную проблему 2023 года — ShadyShader, использующую WebGL и получившую CVE-2023-40441 со средней степенью тяжести (CVSS 6.5). Apple тогда усилила проверку на бесконечные циклы в WebGL, но, как показывает Deathray, аналогичная защита в WebGPU оказалась недостаточно строгой — простой цикл без инкремента легко проскакивает валидацию. Хотя Apple официально не считает такие зависания проблемами безопасности (ссылаясь на отсутствие утечки данных или удалённого выполнения кода), автор отмечает, что для обычных пользователей это нарушает фундаментальное доверие к браузеру: клик по ссылке не должен приводить к полной потере управления машиной. Он призывает Apple исправить проблему, но без отключения WebGPU по умолчанию, и предлагает рассматривать такие эффекты как часть этичного эксперимента — например, в играх с добровольным согласием пользователя. Пока исправления нет, он предупреждает: не нажимайте на ссылку, если не готовы к перезагрузке.

WebGPU-шейдер с бесконечным циклом может полностью заморозить графический стек macOS (включая WindowServer), требуя принудительной перезагрузки — проблема воспроизводится на M1/M2 Mac и подтверждена множеством пользователей. Аналогичные атаки через WebGL и OpenCL известны с 2011 года, но macOS до сих пор не имеет GPU-таймаута, в отличие от Windows и Linux, где такие запросы прерываются драйвером. Проблема также наблюдается на Android (Pixel 10) и iOS (в Chromium-браузерах), но не в Firefox, что указывает на различия в реализации GPU-контекста. На Windows и Linux атаки вызывают только сбой вкладки, а не систему. Apple классифицировала репорты как не имеющие «безопасностного значения», что вызывает критику: отказ от восстановления после зависания GPU — архитектурный провал. Даже после завершения браузера GPU-состояние остаётся повреждённым, система тормозит днями — признак утечки ресурсов в драйвере Metal. WebGPU позволяет использовать сложные конструкции (например, Duff’s Device), способные сбивать компилятор Metal, но редко вызывают kernel panic; в вебе же они блокируют весь графический стек. Споры: одни считают это только DoS-атакой (нет утечки данных), другие — реальным ущербом из-за потери сессии и принудительной перезагрузки. Одни настаивают, что отключение WebGPU ломает Figma, Canva и Google Maps, другие — что безопасность не должна жертвоваться ради удобства коммерческих сервисов. Советы: — Пользователям macOS с автовосстановлением сессий: отключите его, иначе после перезагрузки вредоносная страница откроется снова. — Для работы с ненадёжными WebGPU-сайтами рекомендуется использовать Windows или Linux. — Разработчикам: таймауты и ограничения циклов в шейдерах должны быть встроены в API, а не полагаться на драйверы — иначе веб-приложения станут вектором системных атак.

Paint.NET 5.2 Alpha (build 9739) представляет собой значительный шаг в развитии популярного редактора изображений, включающий оптимизацию производительности и улучшения в интерфейсе. Основное внимание уделено стабильности и отзывчивости — особенно при работе с большими файлами и сложными слоями. Внедрена новая система рендеринга, основанная на GPU, что ускоряет масштабирование, вращение и применение фильтров в реальном времени. Также обновлён интерфейс: улучшена читаемость, переработаны панели инструментов и добавлена поддержка темной темы по умолчанию.

Разработчик Rick Brewster подчеркивает, что это промежуточная версия для тестирования, и призывает пользователей сообщать о багах. В частности, исправлены утечки памяти в плагинах и улучшена совместимость с высокодетализированными дисплеями (4K+). Новая версия также включает экспериментальную поддержку OpenEXR для профессиональной работы с HDR-изображениями. Хотя функционал пока не завершён, альфа-версия уже демонстрирует потенциал для замены некоторых профессиональных инструментов в среднем сегменте.

Paint.net более 16 лет остаётся закрытым проектом, хотя многие ошибочно считают его открытым. Поддержка Linux реализована через Wine, а не нативно; формулировка «работает на Linux» вводит в заблуждение, правильнее — «работает через Wine». Сборка экспериментальная и баговая, полагаться на неё в продакшене не стоит. Запуск стал возможен благодаря переписанному слою Direct2D в Wine, что сняло главный технический барьер прошлых попыток. В сообществе реакция неоднозначная: часть пользователей рада возможности запуска и отмечает удобный UX по сравнению с GIMP и Krita, другие критикуют автора за саму попытку запуска PDN на Linux. На Bluesky спор разделил людей на тех, кто считает критику необоснованной, и тех, кто осуждает автора. Исторически Paint.net до 2007 года был MIT‐лицензированным проектом; закрытие кода произошло после конфликтов из‐за указания авторства. Вместо него рекомендуются открытые альтернативы: Pinta (наследник старого кода Paint.net), Krita (мощнее, но тяжелее) и GIMP (полностью открытый). Оценки стоимости создания открытого клона с помощью LLM — несколько недель работы и подписок — остаются спекуляцией.

К 2040 году каждый человек получит доступ к эквиваленту современного B300 GPU, что позволит запускать передовые LLM вроде Fable или Sol круглосуточно. Это не приведёт к сингулярности — ИИ останется быстрее и дешевле, но не превзойдёт человеческий уровень — однако масштаб доступа изменит всё. Образование станет персонализированным: каждый ребёнок получит бесконечно терпеливого репетитора, способного адаптироваться к его стилю обучения, что особенно преобразит развивающиеся страны, где сегодня не хватает учителей. Здравоохранение получит ИИ-диагностов, способных анализировать симптомы и предлагать лечение на уровне лучших специалистов, снижая смертность в отдалённых регионах. Социальные сети, вероятно, трансформируются: вместо лент новостей и алгоритмов вовлечения появятся ИИ-ассистенты, помогающие фильтровать информацию, вести диалоги и проверять факты — что может уменьшитьpolarisation, но усилить зависимость от посредников в общении. Риск тотального наблюдения реален: если такие системы будут централизованы и контролироваться государствами или корпорациями, каждый получит не только помощника, но и постоянного наблюдателя. Однако децентрализованные модели и локальная обработка на устройствах могут сбалансировать власть. В итоге мир не станет утопией или дистопией — он станет более справедливым в доступе к знаниям и услугам, но потребует новых институтов, этики и регулирования, чтобы мощь ИИ служила людям, а не наоборот.

Доступ к мощным GPU не приведёт к социальному прорыву без решения базовых проблем: неравенства в грамотности, энергопотреблении и контроле над технологиями. LLM — не фундаментальная технология вроде интернета или парового двигателя: их применение ограничено из-за неразрешимых проблем с надёжностью, а пользу получают в основном опытные пользователи. Большинство людей не смогут эффективно использовать GPU из-за низкой грамотности и отсутствия технического бэкграунда. Технологии распределяются неравномерно — GPU, как и интернет, будут усиливать существующее неравенство, особенно под контролем крупных корпораций. Глобальная раздача 500-ваттных GPU увеличит энергопотребление более чем вдвое, что физически невозможно без революции в энергетике. Нужна производительность уровня B300 при 1/100 нынешних энергозатрат, иначе мир перегреется. Смартфоны уже содержат GPU, но используются для игр и соцсетей, а не для локальных LLM — инфраструктура пока не развита. Дешевизна и скорость моделей не равны интеллекту: его рост зависит и от архитектурных прорывов, не только от вычислительной мощности. Конкурсы с призами за AI-генерируемые истории — не демократизация, а способ собрать дешёвый обучающий материал для AI-компаний. Требования раскрывать использование LLM бессмысленны: участники не будут раскрывать, а проверка без инструментов невозможна. Будущее — за локальными малыми моделями (Qwen 3.8, Llama 3.1) на специализированных чипах: если они станут быстрее и дешевле, GPU и дата-центры подешевеют, а доступ к ИИ станет массовым без колоссального энергопотребления. Большинство людей не будут использовать ИИ для образования или творчества — они будут смотреть TikTok, играть в Candy Crush и скроллить ленты, как и с телевизором. История показывает: даже при равном доступе к технологиям социальные структуры не меняются. Фантастика (Азимов, Тчайковский) предсказала эти проблемы, но её игнорируют — технологии развиваются без учёта этических и социальных последствий. Производство и распределение чипов уровня B300 к 2040 году требует ресурсов, которые, как еда, вода и образование, распределяются неравномерно.

Локальный LLM часто кажется «глупым», хотя модель теоретически способна на большее. Причина — различия в реализации вывода: каждый набор железа и программного обеспечения (GPU‑архитектура, драйверы, библиотеки) вычисляет логиты по‑своему, а небольшие отклонения в вероятностях следующего токена приводят к заметно другим результатам.

Ключевой эксперимент сравнил пять вариантов квантования (W8A16, FP8, INT8, AWQ W4A16, NVFP4) на одинаковом наборе весов. Самый «умный» вариант — W8A16 — показал наименьшее количество переключений токенов (≈ 5 % при 88 k контекста), тогда как NVFP4 отставал с ~50 % ошибок. Кроме того, только FP8 и INT8 корректно выполнили цепочку команд Cisco, остальные сгенерировали «show run» вместо правильного «show arp». Эти данные подтверждают, что даже при одинаковых весах результат сильно зависит от выбранного бэкенда и настроек декодера.

Запомните: небольшие изменения в logits → кардинальные различия в поведении; правильный sampler (temp ≈ 1.0, top‑p ≈ 0.95) и совместимый attention‑kernel (например, Triton ATTN) могут вернуть до 50 % точности, а неправильный набор параметров делает модель «глухой».

Тред подтверждает, что качество моделей чаще страдает от ошибок конфигурации, чем от алгоритмов квантования: потеря chat-template в GGUF приводит к молчаливому падению рантайма на ChatML, а агрессивное сжатие KV-cache — к потере логики. Рекомендуется проверять токены шаблона перед обвинением модели. Для сохранения точности избегайте квантования KV-cache — используйте не хуже Q8, жертвуя скоростью. Даже Q4-квантованные модели (например, Qwen 3.8 27B) могут работать на уровне Gemini Flash при мощном железе (RTX 5090, M4 Pro), но стабильность зависит от рантайма. Споры о качестве Qwen 3.8 27B: @tharkun__ успешно использовал её на слабом железе, @velcrovan столкнулся с крахами на M4 Pro. llama.cpp и ik_llama.cpp предотвращают ошибки tool calls за счёт грамматического принуждения — функция недоступна в некоторых рантаймах. Ollama критикуют за недостаточное признание авторов llama.cpp, но остаётся удобным выбором для Windows из-за проблем с VLLM. Дефолтное квантование в популярных рантаймах деградирует логику по сравнению с FP16, особенно на длинных контекстах. Тяжёлые модели (Qwen 3.8 27B/37B) успешно запускаются на локальных GPU (5090, M4 Pro) с высокой скоростью (до 800 TPS на RTX 5090 с ninfer), подтверждая возможность локального инференса.

Cerebras CS-4 — новая rack‑scale система, в которой три ускорителя Wafer‑Scale Engine 3 Turbo (WSE‑3T) работают совместно, обеспечивая до 30‑кратного ускорения вывода по сравнению с GPU‑решениями. Каждый WSE‑3T в два раза быстрее предыдущего поколения, а благодаря новым системам питания, охлаждения и ввода‑вывода производительность на один чип возрастает в 10 раз при том же энергопотреблении.

Ключевые цифры: до 1 000 токенов / сек на моделях > 10 трлн параметров, 30‑кратное ускорение вывода, 10‑кратное увеличение пропускной способности на ватт, а latency между воркерами сокращена до 2 мкс, что делает интерактивный декодинг возможным даже при десятках триллионов параметров. Архитектура Nexus разделяет стационарную инфраструктуру (питание, охлаждение, сеть) от модульных вычислительных «бэкендов», позволяя развернуть систему за часы вместо дней.

Запомните: CS‑4 — первый в мире ускоритель, способный обслуживать гигантские модели в реальном времени, при этом потребляя в 2‑3 раза меньше энергии на токен, чем традиционные GPU‑кластеры.

Cerebras CS-4 — нишевое решение для инференса с высокой стоимостью и энергопотреблением (162 кВт), не предназначенное для массового рынка. Его 2x ускорение по сравнению с Groqvidia недостаточно для массового перехода, а заявления о 30x превосходстве над GPU неполны — не указаны модели, количество, цена и энергопотребление GPU. Десктопная версия невозможна: загрузка модели в SRAM стоит ~$100K. Система рискованна для критических нагрузок — при потере питания WSE-3T становится бесполезной. Cerebras работает с корпоративными клиентами, используя open-weight модели, что отражает бизнес-модель, а не технологическое лидерство. Отсутствие SLA на отказоустойчивость усугубляет риски. Эффективность KV-кэширования критична для глубоких контекстов — иначе задержки становятся неприемлемыми. Инференс на Cerebras не означает превосходства над GPT-5.6: параметры модели и производительность инференса — разные вещи. OpenAI и Anthropic должны приобрести Cerebras, чтобы создать аппаратный барьер, как Google и Apple; AMD могла бы выиграть от покупки, чтобы оспорить монополию Nvidia. Аппаратная оптимизация для LLM только начинается — в ближайшие 5–10 лет ожидается экспоненциальный рост эффективности железа и ПО, снижающий зависимость от GPU. Критика маркетингового стиля («path to deploy») не делает продукт хуже — это человеческая работа, а не LLM.

Игра, превышающая доступный объём видеопамяти, не обречена на крах — главное ограничение — производительность, а не стабильность. При нехватке VRAM данные выгружаются в системную оперативку, а доступ к ней через PCIe‑4.0x16 (≈ 32 ГБ/с) ограничивает пропускную способность до ~1 ГБ за кадр, что делает невозможным удержание 30 fps, если требуется больше.

Ключевой нюанс — не все обращения одинаковы: небольшие буферы команд и часто используемые данные могут оставаться в CPU‑памяти без катастрофических потерь, особенно если они умеют кэшироваться. Поэтому оптимизация доступа и более тесное взаимодействие драйвера с приложением позволяют смягчить удар по FPS, делая «переполнение» VRAM менее болезненным.

Обсуждение смещает фокус с производительности на стабильность при нехватке RAM/VRAM. Пользователи отмечают критические различия в работе драйверов NVIDIA и AMD под Wayland: старые NVIDIA (750 Ti) вызывают краши композиторов при исчерпании VRAM, тогда как AMD (RX 480) бесшовно выгружает в системную память. Проблемы с утечками и стабильностью под Wayland/Vulkan сохраняются и на новых NVIDIA (2080). Для предотвращения зависаний рекомендуют systemd-oomd или Magic SysRq 'f'. Спор о том, какая ОС лучше справляется с нехваткой памяти: @krisknez утверждает, что Windows не фризит, но @alightsoul и @qwertox опровергают — Windows также зависает при активном swap или ресурсоёмких браузерах (Chromium); @adrian_b считает, что отказ от swap в Linux решает проблему. Поведение macOS неоднозначно: @inventor7777 отмечает сохранение отзывчивости (Ctrl+C работает) на M4 Max даже с артефактами, @LoganDark — сильную деградацию и необходимость перезагрузки после загрузки LLM. Улучшения Linux 7.3 менее значимы для LLM inference, чем для игр — в играх паттерны использования VRAM менее предсказуемы и требуют сложного управления памятью. Рекомендация: выделять 32 ГБ swap на быстрых SSD для комфортной работы с ВМ и тяжёлыми процессами. В Ubuntu 24 OOM-killer по умолчанию часто убивает Firefox, даже если память потребляют другие процессы — вызывает раздражение.

Главная идея: автогенерация кода для QR‑разложения через блоковый алгоритм Хоусакера ускоряет вычисления в 232 раз по сравнению с базовым решением.

Ключевой факт: использование «кода‑максимизации» (Codex‑maxxing) позволило сгенерировать ядро, которое работает в FP16, но сохраняет FP32‑точность проверок.

Для ускорения важно разбивать матрицу на блоки, применять параллельный Householder‑алгоритм и постоянно генерировать новые варианты кода, отсекая те, что не дают прироста.

Оптимальная стратегия включает:

• небольшие предварительные ядра, которые быстро тестируются;
• итеративное улучшение через мутацию и отбор;
• внедрение идеи разнообразия (idea diversity) для выхода из локальных максимумов.

Эти приёмы сделали возможным достижение рекордного ускорения в конкурсе GPU‑режима.

LLM-агенты эффективно оптимизируют код (в 2–8 раз быстрее), генерируя SIMD/AVX/CUDA ядра, при наличии строгих верификаторов и профайлеров (VTune, NSIGHT) в цикле benchmark → profile → verify. Без автоматической проверки pass/fail агенты не могут корректно оценить ошибки и завершают задачу ложно успешно. GPU-ядра хорошо поддаются автоматизации благодаря легко проверяемой корректности и «hill-climbable» структуре. Однако генерируемый код часто чрезмерно узкоспециализирован: 8 из 10 топ-решений в соревнованиях ломались на OOD-данных, требуя ручной доработки экспертов. Гипероптимизация ошибочно сужает задачу, тогда как истинная оптимизация требует понимания памяти или параллелизма. LLM превосходят большинство людей, но редко достигают абсолютного пика, достигаемого экспертами после глубокой ручной доработки. Советуют: сначала генерировать unit-тесты с 100% path coverage и golden values, затем оптимизировать с анализом flamegraphs. Использовать итеративный подход (back and forth) через SKILL.md, а не one-shot. LLM склонны к излишней сложности при недостатке данных — например, Opus 5 сгенерировал сложную размотку цикла, пропустив простое решение. «Loop engineering» с LLM может быть сложнее ручной оптимизации из-за галлюцинаций. Технический контекст: Cholesky быстрее, но применим только к положительно определённым матрицам; QR универсален и необходим для собственных значений — это объясняет выбор в статье.

Muse Code — бета‑агент для терминала, работающий на новой модели Muse Spark 1.2. Он умеет планировать изменения, писать и проверять код в больших репозиториях, используя несколько постоянных подагентов, которые остаются активными в течение всей сессии. Это позволяет сократить задержки и избежать повторного сбора информации, а благодаря локальному событию‑логу каждый шаг можно воспроизвести после сбоя.

Muse Spark 1.2 — улучшенная версия модели, обученная на значительно большем объёме кода и более разнообразных сценариев. Она лучше справляется с генерацией целых репозиториев, автогенерацией тестов и длительными задачами, а также проходит «самообучение»: генерирует сложные задачи, оценивает решения и использует полученные данные для дальнейшего дообучения. В тестах на оптимизацию GPU‑ядер модель достигла заметных ускорений, применяя специализированные схемы фьюзии и тайлинга, что подтверждает её способность к длительным, многошаговым улучшениям.

Пользователи обсуждают потенциал и ограничения Muse Code и Muse Spark 1.2, выражая скептицизм по поводу их качества, безопасности и маркетинговых заявлений Meta. Отмечаются риски: отсутствие открытых весов, возможная утечка данных, неясные условия использования и политика конфиденциальности. Сравниваются с Claude Code, OpenAI’s Terra и DeepSeek V4 Flash — споры идут о достоверности таких сравнений и соотношении цены и возможностей. В целом, модель признаётся перспективной, но требующей дальнейшей проверки и улучшения. Рекомендуется использовать с осторожностью.

Главная идея — первый рабочий запуск DeepSeek‑V4‑Flash‑0731 на одной видеокарте AMD MI300X без дополнительной квантовки или оффлоу. Модель полностью помещается в 156,7 GiB HBM3, а благодаря 192 GiB памяти и 5,3 TB/s пропускной способности достигается пропускная способность до ≈ 8 K токенов/сек при предзаполнении и 168,6 токенов/сек в медиане однопоточного декодирования. При 8‑х одновременных потоках суммарный вывод достигает 542 токенов/сек, а пиковый 64‑потоковый баст‑запрос укладывается в 830 токенов/сек без OOM и ошибок движка. Контекст поддерживается до 256 K токенов (архитектура теоретически позволяет 1 M).

Ключевые факты, которые стоит запомнить:

• 156,7 GiB весов — полностью в HBM, без offload‑квантовки;
• ≈ 8 K tok/s предзаполнение (6 988–7 019 tok/s в продакшн‑профиле);
• 542 tok/s суммарный вывод при 8‑х потоках, 830 tok/s при 64‑потоковом басте;
• Исправления касаются FP8‑формата MI300X, MoE‑маршрутизации, CPU‑KV синхронизации и специфичных ядер ROCm.

Эти детали позволяют использовать MI300X как дешевый (в 2–3 раза) альтернативный вариант к NVIDIA‑решениям для тяжёлых LLM‑задач.

DeepSeek V4 Flash можно запускать на AMD MI300X, но с ограничением контекстного окна с 1M до 256k — по опыту @monster_truck, это не снижает качество. @Tepix считает MI300X неподходящей как OAM-модуль, но @WhitneyLand отмечает, что модель работает, хоть и с ограничениями. MI350P — альтернатива с 144GB памяти, но меньшей, чем у MI300X. @fergusfinn советует использовать MI300X с высоким HBM и делится опытом работы с 2xMI300X. Производительность MI300X всё ещё ниже, чем у H800 (15k токенов/сек).

В статье показано, как простые предположения о скрытом состоянии приводят к формуле линейного внимания, известной как Kimi Delta Attention (KDA), которая вытекает из семейства DeltaNet и используется в моделях Qwen и Kimi. Ключевой приём — заменить softmax на умножение на деградирующие матрицы и добавить корректирующий вектор ошибки, что позволяет обновлять состояние рекуррентно и хранить лишь текущий стейт. При этом запросы масштабируются по (d_k^{-1/2}), а ключи нормализованы, чтобы их внутреннее произведение оставалось в пределах одного скаляра. Такой подход превращает квадратичную зависимость от длины последовательности в линейную, а также делает возможным кэширование ключей и значений без роста памяти.

В результате получаем O(1) память и возможность обрабатывать запросы за константное время, а также β‑параметр, задающий экспоненциальный спад, который делает внимание устойчивым к очень длинным контекстам. Реализация KDA в Triton использует кусочные схемы: внутри чанка вычисляются диагональные взаимодействия, а между ними решается триангулярная система, что позволяет параллелить расчёты на GPU. Такой подход лежит в основе эффективного прямого прохода, используемого в последних версиях Qwen и Kimi, и демонстрирует, как простая идея о скрытом состоянии может породить мощный линейный механизм внимания.

Тред обсуждает сложность и интуитивность математической нотации в статье, а также доступность понимания машинного обучения и линейного внимания. Многие находят нотацию запутанной, но некоторые — полезной и ясной. Пользователи делятся трудностями в освоении темы, предлагают ресурсы и примеры, выражают благодарность за обмен опытом. Споры идут о степени сложности разработки линейного внимания и Kimi Delta Attention: одни считают их несложными, другие — требующими глубоких знаний. Некоторые сомневаются в их новизне, называя их комбинацией существующих идей. @dr_kretyn рекомендует bra-ket нотацию как более интуитивную, особенно для физиков.

Неoclouds — компании, предоставляющие быстрый доступ к последним GPU, — взрывают рынок ИИ‑инфраструктуры, но их финансовая модель выглядит подозрительно циркулярной. CoreWeave и Nebius заключили контракты на суммарные 3,5 ГВт мощности, из которых лишь часть уже работает: к концу 2026 года CoreWeave планирует запустить 1,7 ГВт, а Nebius — от 800 МВт до 1 ГВт. Эти мощности критичны, потому что ограниченный энергопоток тормозит расширение дата‑центров, однако их использование требует огромных капиталовложений и приводит к росту долгов, тогда как прибыльность пока отстаёт.

Ключевой механизм поддержки — «круговое финансирование»: Nvidia вкладывает средства в эти стартапы и обеспечивает финансовый фонд, позволяя им перераспределять затраты на операционные расходы гипермасштабных клиентов, которые стремятся вывести капитальные расходы в операционные. Такой подход ускоряет рост, но поднимает вопросы устойчивости, когда макроэкономика сжимает доступ к дешёвой кредитной линии. В итоге neoclouds могут стать драйверами GPU‑бума, но их финансовый фундамент остаётся хрупким.

• Инвестиции Nvidia в CoreWeave составляют лишь 5–6 % от годового капитального расхода компании, поэтому «круговой» характер финансирования спорен.
• Круговое финансирование подразумевает, что полученные средства используют для покупки GPU у Nvidia, что позволяет компаниям брать новые кредиты под те же активы.
• Некоторые считают, что такой подход создаёт финансовую «домик‑карты», способную обрушить экономику при массовом банкротстве.
• Другие отмечают, что реальная проблема — экономическая целесообразность использования дорогостоящего оборудования и потенциальный рост избыточной ёмкости.

Google TPU возник в 2013 году из расчёта: если каждый пользователь Android задействует voice search по 3 минуты в день, компании придётся удвоить мощности дата-центров. Стандартные CPU и GPU не справлялись с матричной математикой глубокого обучения, поэтому Google создал ASIC для TensorFlow. Проект прошёл от концепта до деплоя за 15 месяцев (2013–2014), к 2015 TPU уже ускоряли Maps, Photos и Translate, а в 2016 их анонсировали на I/O.

В отличие от универсальных GPU с «багажом» (кеширование, ветвления, текстуры), TPU — доменно-специфичный чип с systolic array: данные (веса) загружаются раз, проходят через сетку умножителей без возврата в память, минимизируя Von Neumann bottleneck и HBM-доступы. Новый Ironwood усилил SparseCore для эмбеддингов (рекомендации, LLM) и расширил HBM. TPU — ключевое преимущество Google Cloud на 10 лет, с фокусом на inference; обсуждаются производство, сравнения с GPU и влияние Gemini 3.

• Google's TPUs лидируют в эффективности inference и масштабе благодаря systolic array, OCS interconnects и низкой стоимости эксплуатации по сравнению с Nvidia GPUs.
• Скепсис по поводу исполнения Google: слабая экосистема (JAX/TF vs CUDA), история провалов продуктов и зависимость от ad-бизнеса.
• Nvidia доминирует за счёт универсальности, CUDA и оптимизаций (NVLink, NVFP4), несмотря на "architectural baggage".
• Упоминания альтернатив (Groq, Cerebras, Meta покупает TPU) и рисков: новые архитектуры AI могут устареть hardware, фокус на inference vs training.
• Google имеет ресурсы для доминирования через vertical stack и cloud, но короткий "attention span" вызывает сомнения.

Мы сейчас находимся в "эпоху модема" для искусственного интеллекта, аналогичной раннему интернету 1995 года. Тогда существовало лишь около 2000 сайтов, большинство из которых представляли собой текст на сером фоне, а загрузка изображения занимала минуту. Люди разделились на оптимистов, предсказывавших революционные изменения, и скептиков, называвших интернет временной модой. Сегодня в дебатах об ИИ повторяются те же ошибки: одни предрекают массовую безработицу, другие — автоматизацию всех интеллектуальных задач.

Парадоксально, но ИИ не заменяет специалистов, как предсказывали. Например, радиологи, несмотря на предупреждения Джеффри Хинтона о скорой замене, процветают: в 2025 году количество вакансий достигло рекордных 1208, а средняя зарплата составила $520,000 — на 48% выше, чем в 2015 году. Это показывает, что влияние ИИ будет более избирательным и зависящим от отрасли, чем экстремалистские прогнозы обеих сторон допускают.

• Дискуссия вращается вокруг сравнений «AI-бум ↔ мыльный пузырь» и «AI ↔ золотая лихорадка»; участники спорят, насколько адекватна аналогия с эпохой dial-up и спекулятивным оптимизмом 90-х.
• Ключевой тезис: «мы строим инфраструктуру, а не продукт» — и это вызывает спор, кто и зачем её строит, и что останется после «холодного душа».
• Участники обсуждают, что если «пузырь» лопнет, то останутся ли GPU-фермы как остаточная ценность, или же они обесценятся как нефункциональные активы.
• Поднимается вопрос, что будет, если AGI не появится в ближайшие годы, и как это повлияет на стоимость вычислений и, следовательно, на стоимость токенов.
• Наконец, обсуждается, что если «пузырь» лопнет, то какие именно активы останутся в руках у инвесторов и как это повлияет на стоимость токенов и, в конечном счете, на стоимость компаний.

Стартап Starcloud, участник программы NVIDIA Inception, выводит в космос данные центры, обещая десятикратное снижение энергозатрат по сравнению с наземными аналогами. Их первый спутник Starcloud-1 размером с небольшой холодильник будет запущен в ноябре и станет первым в истории космоса, где установят передовой GPU NVIDIA H100. Спутник обеспечит в 100 раз большую вычислительную мощность, чем любые предыдущие космические операции. Компания планирует построить орбитальный дата-центр мощностью 5 гигаватт с солнечными панелями размером примерно 4х4 километра.

В космосе дата-центры смогут использовать вакуум как бесконечный теплоотвод, устраняя необходимость в водяном охлаждении и экономя ресурсы Земли. "В космосе вы получаете почти неограниченную возобновляемую энергию по низкой стоимости", - отмечает сооснователь и CEO Starcloud Филип Джонстон. По его прогнозу, через 10 лет большинство новых дата-центров будут строиться в космосе. Ранние применения включают анализ данных наблюдения Земли для обнаружения пожаров, прогнозирования погоды и реагирования на аварийные сигналы.

• Проект Starline/Nvidia предлагает запускать дата-центры в космосе, что вызывает скепсис из-за проблем с охлаждением, радиацией и стоимостью доставки.
• Критики указывают, что вместо радиаторов размером с город, проще было бы просто не тратить энергию на обработку и передачу данных.
• Сомнения вызывает и то, что никакой реальной инфраструктуры для обслуживания таких центров не существует, а также отсутствие ясного плана, как именно они будут запускаться и обслуживаться.
• Некоторые комментаторы также поднимают вопросы о том, что при нынешнем уровне технологий это может быть просто невозможно.

Alibaba Cloud представила систему объединения вычислительных ресурсов Aegaeon, которая, по их утверждению, позволяет сократить использование графических процессоров Nvidia на 82%. Новая технология способна обслуживать десятки больших языковых моделей, требуя лишь доли GPU, необходимых ранее.

Во время бета-тестирования на платформе Alibaba Cloud Marketplace в течение более трех месяцев количество необходимых Nvidia H20 GPU для работы с моделями до 72 миллиардов параметров сократилось с 1,192 до 213. Исследователи обнаружили, что 17,7% GPU выделялись для обслуживания всего 1,35% запросов, что свидетельствует о значительной неэффективности в работе с одновременными AI-нагрузками.

Работа была представлена на 31-й Симпозиуме по принципам операционных систем (SOSP) в Сеуле. Один из соавторов исследования - главный технолог Alibaba Cloud Чжоу Цзжэньрен. Aegaeon позиционируется как первая работа, раскрывающая чрезмерные затраты на обслуживание одновременных рабочих нагрузок LLM на рынке.

• Эффективность использования GPU в облаке Alibaba — 17,7 % GPU обрабатывает всего 1,35 % запросов, и вместо 1192 GPU теперь используется 213, что на 82 % меньше.
• US-ограничения на экспорт чипов в Китай — вынуждают китайские компании к инновациям, что может привести к созданию более эффективных решений, которые в будущем могут быть использованы в других странах.
• Сравнение моделей — DeepSeek и Qwen от Alibaba Cloud являются наиболее популярными моделями для инференса, в то время как большинство других моделей используются очень редко, что приводит к неэффективному использованию ресурсов.
• Проблема с лицензиями и открытым исходным кодом — Китайские компании, такие как DeepSeek, начинают отказываться от открытого кода, что может повлиять на развитие AI-сообщества.
• Стоимость и доступность GPU — NVIDIA стоит дороже, чем в Китае, но в то же время, китайские компании могут разрабатывать более дешевые и эффективные решения, что может привести к снижению цен на GPU в будущем.

В старых версиях Windows, включая Windows 98, при захвате скриншота видеофайла и открытии его в Paint происходило удивительное явление: видео продолжало воспроизводиться. Это не магия, а особенность работы устаревших форматов видео и компонентов системы. Формат AVI того времени хранил видео и аудио данные в одном файле без сложного сжатия, что позволяло приложениям вроде Paint, использующим DirectShow, воспроизводить его напрямую из скриншота.

Пользователь вспоминает: "В старой версии Windows (кажется, Win98) если делал скриншот видео, открывал его в Paint, и видео играло!" Это работало из-за того, что Paint мог интерпретировать необработанные видеоданные в файле скриншота. Однако в современных системах это больше невозможно из-за усложнения форматов видео и изоляции приложений. Этот "баг" стал забавной особенностью, демонстрирующей эволюцию мультимедийных возможностей Windows.

• Обсуждение началось с воспоминаний о том, как раньше видео отображалось через наложение (overlay), а не через композитинг, и как это влияло на скриншоты и захват видео.
• Участники вспомнили, что в старых системах цветовая палитра была ограничена, и конкретный цвет использовался как "зеленый экран", потому что видео наложение не могло быть захвачено скриншотом.
• Были упомянуты такие детали, как то, что в старых версиях Windows и Linux можно было установить видео как фон рабочего стола, и как это использовалось в Winamp и других программах.
• Также обсуждались сопутствующие темы, такие как то, как DRM может влиять на возможность сделать скриншоты, и как технология наложения используется в современных мобильных GPU для энергосбережения.

Новый iPad Pro от Apple оснащён мощнейшим чипом M5, который обеспечивает значительный скачок в производительности искусственного интеллекта. По сравнению с предыдущим поколением, новинка демонстрирует до 3,5 раза более высокую производительность ИИ и до 5,6 раза — в сравнении с моделью на M1. Это стало возможным благодаря усовершенствованному GPU с нейроускорителем в каждом ядре и более мощному Neural Engine. Такая производительность открывает новые горизонты для творческих приложений, например, генерации изображений прямо на устройстве. Помимо ИИ-ускорения, новинка получила поддержку Wi-Fi 7 и улучшенную энергоэффективность. Устройство уже доступно для предзаказа.

• Основная критика направлена на ограничения iPadOS и App Store, которые мешают использованию планшетов как полноценных рабочих устройств, особенно для профессиональных задач и разработки.
• Споры о целевой аудитории: часть пользователей считает iPad устройством для потребления контента (YouTube, соцсети), а не продуктивности, в то время как другие находят нишу для рисования, музыки или чтения.
• Многие пользователи отмечают, что мощное железо (включая новый M5) не используется в полной мере из-за ограничений ОС, а аксессуары (клавиатура, стилус) делают обновление дорогим.
• Несмотря на скепсис, часть пользователей успешно использует iPad для специфических задач (заметки, рисование, музыка, чтение технической литературы), подчеркивая его удобство в этих сценариях.

Apple представила чип M5, обещающий революцию в области искусственного интеллекта. Этот процессор обеспечивает четырёхкратное увеличение производительности GPU для AI-задач по сравнению с M4, благодаря новому нейронному акселератору в каждом из 10 ядер графического процессора. Производительность в многопоточных задачах увеличена на 15%, а пропускная способность унифицированной памяти выросла почти на 30%. Новый 16-ядерный Neural Engine работает на 30% быстрее. Вместе эти улучшения позволяют M5 превосходить M4 в AI-тестах, таких как Stable Diffusion, в 4,4 раза, а в Llama AI — на 40%.

Кроме AI-ускорения, M5 обеспечивает прирост производительности до 45% в графических задачах, включая рендеринг и игры. Процессор также демонстрирует улучшенную энергоэффективность, что особенно важно для мобильных устройств.

Новый чип уже доступен в обновлённых MacBook Pro 14 дюймов, iPad Pro и Apple Vision Pro, позволяя каждому из этих устройств реализовать новые возможности в своей категории.

• Apple продолжает выпускать новые чипы M5, но вопросы остаются: где Linux, где поддержка RAM > 32 ГБ и почему нет 5G в MacBook Pro.
• Пользователи отмечают, что Apple не предоставляет достаточной информации о реальных улучшениях Neural Engine и GPU, а маркетинговые заявления о производительности AI кажутся преувеличенными.
• Обсуждение показывает, что Apple не предлагает ноутбуки с 64 ГБ RAM и не предоставляет возможность установить Linux, что вызывает тревогу среди разработчиков и энтузиастов.
• Некоторые участники обсуждения задаются вопросом, почему Apple не предлагает ноутбук с 5G модемом, что делает невозможным полное использование возможностей ноутбука без подключения к точке доступа.
• Некоторые участники обсуждения также задаются вопросом, почему Apple не предлагает ноутбук с 64 ГБ RAM, что делает невозможным запуск LLM на ноутбуке.

AMD заключила сделку с OpenAI о поставках чипов для искусственного интеллекта, предоставив также опцион на приобретение 10% доли в компании. Это стратегическое партнёрство усиливает позиции AMD на рынке AI-чипов, где доминирует NVIDIA, и обеспечивает OpenAI доступ к передовым аппаратным решениям для разработки и масштабирования своих моделей.

Опцион на долю демонстрирует глубокую интеграцию интересов: AMD получает ключевого клиента и потенциального инвестора, а OpenAI — влияние на поставщика и приоритетный доступ к технологиям. Это может ускорить инновации в области аппаратного обеспечения для ИИ и снизить зависимость от единственного поставщика.

• AMD предоставила OpenAI опцион на покупку 10% своих акций по цене $0.01 за акцию при выполнении определенных условий
• Сделка призвана стимулировать OpenAI к закупкам GPU AMD на сумму до $100 млрд и совместной разработке ПО для AI-чипов
• Рыночная капитализация AMD выросла примерно на $100 млрд после анонса, что частично компенсирует стоимость опциона
• Многие участники обсуждения расценивают сделку как признак финансового пузыря и циркулярных денежных потоков в AI-индустрии
• Партнерство рассматривается как стратегический ход для создания альтернативы доминированию NVIDIA и CUDA

Nvidia инвестирует $110 млрд в OpenAI и другие AI-стартапы через венчурное финансирование, что напоминает стратегию Lucent во время пузыря доткомов. Lucent тогда выделила $8,1 млрд клиентам, которые покупали её оборудование, но после краха 47 телеком-компаний обанкротились, а до 80% кредитов не вернулись. Сейчас Nvidia рискует ещё больше: её обязательства составляют 85% выручки против 20% у Lucent, а 39% доходов зависят всего от двух клиентов.

Новизна ситуации в том, что $10+ млрд долгов обеспечены залогом в виде GPU, с предположением, что их стоимость сохранится на 4–6 лет. Крупные облачные провайдеры уже удлинили сроки амортизации оборудования до 6 лет, но Amazon недавно сократил их до 5, что может сигнализировать о переоценке рисков. Если спрос на AI-инфраструктуру замедлится, это может создать цепную реакцию defaults, особенно среди стартапов, зависящих от финансирования поставщиков.

• Сравнение текущей ситуации с пузырем телекоммуникаций 90-х: есть как сходства (масштабные инвестиции в инфраструктуру, риск перепроизводства), так и ключевые различия (финансовая устойчивость Nvidia vs. мошенничество Lucent).
• Главный риск для Nvidia — возможность резкого падения спроса на GPU, если AGI не будет достигнут в ожидаемые сроки (2-5 лет) или если инвесторы потеряют интерес из-за замедления прогресса.
• Неопределенность долгосрочного спроса: несмотря на текущий ажиотаж, будущее зависит от появления реальных, прибыльных приложений ИИ, а не только от тренировки моделей; возможен избыток мощностей.
• Роль крупных игроков (Microsoft, Google, Amazon) и их кастомерных чипов как потенциальная угроза монополии Nvidia, а также вопросы учетной политики и вендорного финансирования.
• Скептицизм относительно способности ИИ самостоятельно решать сложные задачи и кардинально улучшать код без человеческого контроля, что ставит под вопрос оправданность огромных инвестиций.

В пул-реквесте к Triton представлена реализация механизма persistent attention для ускорения работы с большими контекстами в трансформерах. Вместо пересчета ключей и значений для каждого токена механизм сохраняет их в глобальной памяти, что значительно снижает вычислительную нагрузку при обработке длинных последовательностей.

Автор демонстрирует, как это позволяет эффективно работать с контекстами до 128K токенов, избегая квадратичной сложности традиционного внимания. Практический вывод: такой подход открывает путь к более масштабным моделям без пропорционального роста затрат на вычисления.

• NVIDIA использует хардкод для оптимизации кода, содержащего "cutlass" в названии, что может быть нестабильным и приводить к скрытым багам.
• Подобные практики (оптимизации по именам функций или приложений) исторически распространены среди производителей железа и софта (ATI/AMD, Intel, Microsoft) для улучшения бенчмарков, иногда в ущерб качеству.
• Мотивация таких оптимизаций часто не злонамеренна, а связана с снижением рисков и фокусом на стабильности собственных библиотек, но создаёт новые барьеры.
• В индустрии существуют разногласия по поводу этичности таких практик, но для графических драйверов тюнинг под конкретные игры стал нормой.
• Обсуждаются проблемы проприетарного кода (драйверы, прошивки) и затраты общества на обратную разработку вместо сотрудничества.

Исследователи из Hazy Research разработали высокопроизводительный мегаядро для тензорно-параллельного вывода Llama-70B на H100, которое агрессивно перекрывает вычисления, работу с памятью и коммуникацию между GPU. Это позволяет одновременно задействовать различные аппаратные ресурсы: тензорные ядра, модули для нетензорных операций, пропускную способность HBM и NVLink. В интеграции с движком Tokasaurus их решение превосходит SGLang на >22% по общей пропускной способности при обработке 65 536 промптов из ShareGPT.

Ключевая идея — использование интерпретатора инструкций, работающего на каждом SM, который позволяет гибко планировать выполнение разнородных операций. Это обеспечивает перекрытие на нескольких уровнях: внутри SM (память и вычисления), между SM (матричные умножения и нормирование) и между GPU (скрытие задержек связи за счёт специальных потоков). Особенно отмечается простота реализации сложных трансформаций данных между GPU прямо после attention-слоя, что трудно выразить стандартными средствами коммуникации.

• Обсуждение эффективности использования GPU: использование всех блоков (NVDEC, NVJPG, RT и тензорные ядра) для декомпрессии весов и вычислений, аналогии с оптимизацией под консоли.
• Проблемы инструментов и драйверов: отставание языков, библиотек и драйверов от возможностей современного железа, сложности компиляторов для гетерогенных систем.
• Виртуализация и разделение ресурсов GPU: обсуждение MIG, MPS для многопользовательского использования, риски утечки данных и ограничения этих технологий.
• Сравнение с другими платформами: упоминание Apple Metal и открытости драйверов, потенциал использования GPU для аудиообработки и сигналов.
• Критика и ирония: сравнение стиля статьи с "Трансгрессия границ", комментарии о "коде, который не предназначен для поддержки" и неожиданно доступных оптимизациях в крупных лабораториях.

Apple выпустила open-source библиотеку ML-SimpleFold для предсказания трёхмерной структуры белков на основе их аминокислотной последовательности. Она использует архитектуру трансформеров и оптимизирована для эффективного обучения и инференса на GPU. Код написан на PyTorch и включает инструменты для подготовки данных, обучения моделей и визуализации результатов.

Библиотека поддерживает предсказание структур как отдельных белков, так и комплексов, с акцентом на скорость и воспроизводимость. Это демонстрирует растущий интерес крупных tech-компаний к computational biology. Практический вывод: инструмент упрощает исследования в биоинформатике, снижая барьер входа для научных групп без мощных вычислительных ресурсов.

• Представлена упрощенная модель предсказания структуры белков SimpleFold, использующая подход knowledge distillation от сложных моделей (AlphaFold, ESMFold) и демонстрирующая высокую эффективность.
• Обсуждается, что модель обучалась на данных, сгенерированных другими ИИ-системами, а не на экспериментальных структурах, что поднимает вопросы о её истинной новизне и независимости.
• Подчеркивается тренд на упрощение архитектур моделей для предсказания folding, следуя "bitter lesson" в ML, и потенциальные выгоды для локального inference на потребительском железе.
• Участники спорят, является ли проблема folding решенной после AlphaFold, и в чем разница между физическими симуляциями (Folding@Home) и статистическими методами (ИИ).
• Высказываются предположения о мотивации Apple заниматься этой темой: от престижа и маркетинга до практических целей вроде оптимизации чипов и развития локальных вычислений.

Команда Alibaba Cloud представила Qwen3-Omni — первую в мире модель, способную одновременно обрабатывать текст, аудио, изображения и видео, а также генерировать речь в реальном времени. Она работает как единая end-to-end система, без необходимости разделения задач на отдельные модули, что повышает эффективность и снижает задержки.

Модель поддерживает мультимодальный ввод и вывод, включая распознавание объектов на видео, анализ аудиодорожек и синтез голоса с естественной интонацией. Это открывает возможности для создания более интерактивных приложений, таких как голосовые ассистенты с визуальным контекстом или системы автоматизированного контент-модерации.

• Обсуждается мультимодальная модель Qwen3 с поддержкой голосового ввода/вывода, переводом в реальном времени и впечатляющими демонстрациями.
• Участники отмечают её доступность для локального запуска (70GB весов) и потенциал для интеграции в умный дом и другие приложения.
• Поднимаются вопросы о производительности на разных языках, "нативной поддержке видео" и сравнении с закрытыми моделями типа Gemini.
• Высказываются опасения о возможном доминировании Китая на рынке открытых AI-моделей и реакции на это со стороны США.
• Обсуждаются технические аспекты: необходимое железо (GPU), квантование, портирование на macOS и стоимость использования.

Nvidia и Intel объявили о совместной разработке процессоров Intel x86 RTX SOC для ПК с графикой Nvidia, а также о создании пользовательских серверных процессоров x86 от Nvidia. В рамках масштабной сделки Nvidia приобрела акции Intel на сумму $5 млрд.

• Опасения по поводу негативного влияния на конкуренцию: инвестиции Nvidia могут угрожать развитию графического подразделения Intel (Arc), которое сдерживает цены на GPU и важно для Linux-сообщества.
• Стратегический интерес Nvidia: сделка может быть направлена на получение доступа к производственным мощностям Intel (фабрикам) и созданию гибридных решений (CPU + GPU), а не на прямую конкуренцию на рынке видеокарт.
• Политический и экономический контекст: инвестиции могут быть продиктованы желанием правительства США поддержать национального производителя полупроводников и диверсифицировать цепочки поставок.
• Исторические параллели: сравнение со сделкой Microsoft и Apple в 1997 году, которая спасла последнюю, и надежды на аналогичный положительный исход для Intel.
• Влияние на архитектуру и рынок: возможный сдвиг в сторону интеграции графики в SoC (системы на кристалле) и потенциальные риски для x86-64 лицензирования Intel.

• Тезис: утверждение «OpenAI и Anthropic теряют деньги на инференсе» — сильно преувеличено.
• Метод: считаем только «сырой» H100-компьют за $2/час, игнорируем всё остальное.
• Кластер: 72 H100 → $144/час. 8-GPU инстанс × 9 = 288 параллельных запросов.

Пропускная способность

• Prefill (вход): 1,44 млн токенов/с на инстанс → 46,8 млрд токенов/час.
• Decode (выход): 1 440 токенов/с на инстанс → 46,7 млн токенов/час.

Цена за токен

• Вход: $0,003/млн токенов (почти даром).
• Выход: $3/млн токенов (реальные деньги).

Почему ограничивают контекст

• При >128 k токенов вычисления становятся compute-bound → цена вырастает 2–10×.
• Поэтому Claude Code режет контекст до 200 k: дешевле.

Пользовательская экономика

• ChatGPT Pro $20/мес при 100 k токенов/день: себестоимость ≈ $3/мес → маржа 5–6×.

• Математика статьи критикуется: расчёт пропускной способности префилла завышен минимум в 1000 раз, а достигаемая MFU превышает физический предел GPU.
• Участники соглашаются, что «чистая» инференс-операция, без учёта затрат на обучение, может быть прибыльной: Сам Альтман, данные The Information и Epoch AI указывают на gross margin 50–60 %.
• Основные оговорки: в расчётах не учтены downtime, кэширование, спекулятивное декодирование, KV-cache, а также различия в эффективности между DeepSeek R1 и закрытыми моделями OpenAI/Anthropic.
• Некоторые стартапы (Cursor, Perplexity) уже страдают от отрицательной маржи из-за дорогих токенов, что подчеркивает разрыв между «оптовой» и «розничной» экономикой.
• Общий вывод: инференс в вакууме может быть прибыльным, но полная экономика включает обучение, idle-оборудование и кросс-субсидирование, поэтому точные цифры известны только самим компаниям.

В декабре 2020-го Хектор Мартин запустил Asahi Linux, а я, работая над Panfrost, лишь хотел подсказать. В итоге купил Mac mini и начал реверсить GPU. Через пару недель нарисовал треугольник, потом — компилятор шейдеров, а после сессии за несколько дней поднял OpenGL-драйвер.

Год улучшал драйвер, пока игры не пошли под macOS. Параллельно Asahi Lina писала kernel-драйвер; в декабре 2022-го у нас впервые заработала графика в Linux.

В 2023-м, заканчивая универ, я решил:

• довести M1-драйвер до ума;
• сделать полноценный OpenGL 4.6 и Vulkan;
• запустить Proton-игры.

Через месяц после выпуска — OpenGL 3.1, затем ES 3.1. Добавил эмуляцию geometry/tessellation, в январе 2024-го сдал OpenGL 4.6. Vulkan 1.3 прошёл за пару недель, 1.4 вышел в день публикации спецификации. Karol Herbst добавил OpenCL 3.0. Подключил sparse-текстуры — заработал Direct3D 12 через Proton.

Цели выполнены: драйверы в Mesa, игры идут, миф о несовместимости Vulkan с Apple развеян.

• Alyssa за 5 лет с нуля довела Vulkan-драйвер для Apple Silicon до upstream, чем вдохновила всё open-source-сообщество.
• Учёба, работа в Collabora и «хобби»-проект — комментаторы поражаются, как она всё успевала.
• С августа она в Intel и, судя по резюме, занимается open-source-графикой Xe-HPG.
• Многие жалеют, что она уходит из Asahi, но считают переход новым вызовом, а не «уходом».
• Появились вопросы о будущем Asahi на M3/M4 и о том, почему Apple не мешает проекту, в отличие от других.

Почему античиты не работают в Linux

Доля геймеров на Linux растёт благодаря Steam Deck и надоедливым «фичам» Windows. Однако почти все сетевые хиты с античитом не запускаются или не подключаются к серверам: PUBG, Call of Duty, Rust, R6 Siege, EA FC 24, Destiny 2, Valorant, League of Legends и даже FACEIT/ESEA для CS2.

Как работают читы и античиты

Чит либо внешний процесс, читающий/писующий память игры, либо внедрённая DLL. ОС не даёт процессам трогать чужую память благодаря виртуальному адресному пространству: каждая программа «думает», что владеет всей ОЗУ, а процессор и ядро переводят виртуальные адреса в реальные.

Античиты борются с этим двумя путями:

1. Пользовательский режим – сканируют память, читают файлы, ловят подозрительные потоки. Легко обойти, если у чита есть root-доступ.
2. Ядро (kernel) – драйвер внутри ядра Windows имеет полный доступ к железу и памяти, может скрывать свои структуры и блокировать вмешательство. Vanguard, EAC, BattlEye и пр. работают именно так.

Почему это невозможно в Linux

• Linux — открытая система. Любой может собрать своё ядро, поставить патч, изменить ABI.
• Античиту нужен стабильный, неизменяемый и закрытый интерфейс ядра. В Linux этого нет: модуль, собранный под 6.9, не загрузится под 6.10, а пользователь может вообще отключить модульные загрузки.
• Даже если разработчик выпустит проприетарный модуль, сообщество его не примет: безопасность, GPL-лицензия, репутационные риски.
• Попытки «запечатать» Linux (secure boot + immutable образ) противоречат свободе системы и всё равно не гарантируют, что пользователь не пересоберёт ядро без проверок.

Что можно сделать

1. Играть в поддерживаемые игры: Apex, Fortnite, CS2, Elden Ring и др. уже работают через Proton.
2. Двойная загрузка или VFIO-виртуалка – запуск Windows в виртуальной машине с проброской GPU (сложно, но работает).
3. Облачный гейминг – GeForce NOW, Xbox Cloud и т.д.
4. Ждать – пока разработчики не придумают античит, который не требует закрытого ядра (маловероятно).

Вывод: пока Linux остаётся открытой системой, современные kernel-level античиты там жить не смогут.

• Критики считают, что анти-чит на уровне ядра — это по сути rootkit, который подрывает безопасность и конфиденциальность.
• Многие предлагают альтернативы: доверительные сообщества, выделенные игровые машины, серверные проверки или облачные платформы.
• Подчеркивается, что Linux по дизайну даёт пользователю полный контроль, что делает невозможным эффективный, но инвазивный анти-чит.
• Некоторые игроки готовы пожертвовать безопасностью ради «честной» игры, но большинство участников обсуждения считают такой обмен неприемлемым.

Что такое GPU
Современная ML-GPU (H100/B200) — это ~100–150 независимых вычислительных блоков (SM), каждый из которых содержит матричное ядро Tensor Core, векторные ALU (CUDA-ядра) и 256 КБ кэш SMEM. Все SM делят общий L2 и HBM3-память. SM разбит на 4 подблока; каждый подблок выполняет 32 SIMD-операции за такт. GPU-ядро менее мощное, чем TPU TensorCore, но их много, поэтому общая гибкость выше.

Память
H100: 80 ГБ HBM3, 3 ТБ/с. B200: 192 ГБ, 8 ТБ/с. L2 кэш 50 МБ (H100) / 128 МБ (B200). SMEM даёт 256 КБ на SM.

GPU vs TPU на уровне чипа
TPU: 1–2 больших MXU, жёсткая синхронизация, векторная часть слабее. GPU: 100+ мелких ядер, независимые SM, но общий L2 ограничивает масштаб. GPU лучше для разнородных задач, TPU — для чистых матмул.

Сеть внутри узла
Узел = 8 GPU + 2 CPU. GPU соединены NVLink/NVSwitch (900 ГБ/с между любыми двумя). CPU-GPU идут через PCIe 5.0 (64 ГБ/с). NVSwitch-кроссбар внутри узла = полносвязная сеть.

Сеть за пределами узла
InfiniBand HDR/NDR (до 400 Гб/с) или Ethernet RoCE. GPUDirect RDMA позволяет GPU читать/писать память соседнего узла без участия CPU.

Коллективные операции
Intra-node: NCCL использует NVLink; all-reduce 8×H100 за ~3 мкс.
Cross-node: кольцо IB + NVLink; latency ~10 мкс, bandwidth лимит IB.

Roofline-модель для LLM

• Data Parallelism: ограничен IB; эффективен при малых моделях.
• Tensor Parallelism: ограничен NVLink; лучше внутри узла.
• Expert/ Pipeline Parallelism: комбинируем; pipeline глубже → меньше bubble, но больше весов на каждом GPU.
• TLDR: держи параллелизм так, чтобы IB не стал bottleneck; используй NVLink для tensor-parallel, IB для data-parallel.

Итого
GPU — это масса мелких, независимых SM, связанных быстрым NVLink внутри узла и медленным IB между узлами. Для LLM выбирай параллелизм, который минимизирует IB-трафик и максимально использует NVLink.

• Критика точности: документация местами неточна, особенно в определении «CUDA-core».
• Открытость и вендор-лок: ряд участников считают инвестиции в проприетарную экосистему NVIDIA рискованной ставкой.
• Ошибка в расчётах: Quiz 2 преувеличивает пропускную способность; реальные 3,2 ТБ/с ограничены портами NIC.
• Похвала и польза: серия всё же хорошо объясняет принципы параллелизма, применимые и к другим устройствам.
• Сравнение TPU и GPU: TPU проще масштабировать, но закрыт для продажи; GPU NVIDIA гибче, но сложнее в программировании.
• Дефицит официальных данных: NVIDIA не раскрывает полную архитектуру, поэтому полезные модели приходится собирать из сторонних источников.

PCI-SIG анонсировала PCIe 8.0

• Пропускная способность вдвое выше PCIe 7.0: до 256 ГТ/с на линию.
• Технология: PAM4, 32 ГТ/с, 0,5 В амплитуда, < 1 Вт/лейн энергопотребление.
• Обратная совместимость с предыдущими поколениями.
• Спецификация выйдет в 2027 г., первые продукты — 2028–2029 гг.
• Цели: ИИ-акселераторы, HPC, NVMe-накопители, 800 Гбит/с сети.

• Кто-то предлагает «перевернуть» архитектуру: пусть GPU-PCB станет материнской платой, а CPU с памятью встаёт в PCIe-слот.
• Обсуждают, что PCIe-спецификация всегда на три поколения впереди реальных продуктов: сейчас в работе уже Gen 8.
• Пользователи жалуются на нехватку линий PCIe в десктопах и мечтают о GPU-сокете с собственными слотами RAM.
• EE и другие специалисты считают это скорее проблемой экосистемы и совместимости, чем чисто инженерной.
• Упоминают, что в дата-центрах (DGX, DPU, NVMe-«без-сервера») похожая идея уже реализована.