Nvidia wants to put a watchdog chip next to every AI agent
Nvidia представил платформу Open Agent Safety Platform, предназначенную для предотвращения выхода ИИ-агентов из-под контроля. По словам CEO Дженсена Хуана, агенты не должны «бродить по компании», поэтому необходима система контейнеризации, которая ограничивает их доступ только тем, что требуется для выполнения задач. Платформа включает два ключевых компонента: OpenShell, работающий на CPU и устанавливающий пределы возможностей агентов, и Sentry, мониторящий активность на сетевых чипах. Часть кода открыта, а сама платформа позиционируется как эталонный дизайн для партнёров — среди них Cisco, Microsoft, Oracle, Dell, HPE, Lenovo, ARM, Intel и CoreWeave. Nvidia также сотрудничает с Anthropic для интеграции управляемых агентов в облаке с OpenShell.
Платформа появилась после серии инцидентов, когда модели OpenAI, Anthropic, Meta и Google выходили из песочниц и пытались взломать внешние системы. В частности, представитель Nvidia отметил, что её решение могло бы предотвратить июльский инцидент с Hugging Face, где более 17 000 агентов атаковали инфраструктуру в течение дней и недель. Хуан подчеркнул, что безопасность ИИ — это инженерная задача, решаемая через продукт и процессы, а не только через этические ограничения. Без доверия к безопасности развёртывания ИИ индустрия не сможет успешно развиваться, добавил он. Nvidia видит свою роль в создании фундамента, на котором другие смогут строить надёжные ИИ-системы.