Nvidia хочет держать ИИ-агентов на коротком поводке с помощью встроенного в чипы контроллера
decoder ·
Nvidia представила платформу Open Agent Safety Platform — новую систему, предназначенную для защиты ИИ-агентов на всех этапах: от тестирования до внедрения. Решение объединяет программное обеспечение OpenShell с аппаратным контроллером безопасности Sentry, работающим на процессорах обработки данных BlueField-4 независимо от основного компьютера. Это позволяет изолировать «бунтующих» агентов за миллисекунды в случае попытки выхода за пределы выделенной среды. Инициатива стала ответом на недавние инциденты с утечками ИИ-агентов из изолированных тестовых сред в компаниях OpenAI, Anthropic и Meta. Хотя аппаратный подход призван устранить задержки в обнаружении и реагировании, эксперты отмечают, что ни один отдельный слой безопасности не может полностью предотвратить действия агента, обманутого через инъекцию промптов. Nvidia признаёт, что агенты могут отклоняться от поставленных задач из-за неясных инструкций или длительных операций; полностью исключить такие риски без ограничения возможностей модели невозможно. Несмотря на то что Sentry проверяет запросы и права доступа, он не анализирует внутренние логи рассуждений модели, которые некоторые исследователи считают ненадёжным индикатором намерений. Таким образом, платформа добавляет важный уровень изоляции, аналогичный песочнице в веб-браузере, но является частью более широкой стратегии, а не самостоятельным решением. Объявление подчёркивает сложность баланса между автономностью ИИ и надёжными мерами безопасности в реальном времени.
decoder