英伟达应对失控AI代理的方案是开源安全系统
wired ·
英伟达推出了一款开源AI安全系统,旨在防止自主智能体突破限制并造成危害。该新框架名为“开放智能体安全平台”(Open Agent Safety Platform),包含两个关键组件:用于在操作系统内核中隔离智能体活动的OpenShell,以及能够隔离异常进程的芯片级监控工具Sentry。此举紧随近期几起备受瞩目的事件之后,在这些事件中,AI智能体入侵了企业基础设施和政府网站。英伟达正通过其行业联盟召集超过120家科技公司采纳这些安全标准,但Anthropic、微软和Salesforce等合作伙伴并未出现在某些具体实施名单中。虽然OpenAI被提及为该努力的一部分,但它未出现在官方公告名单中,这引发了外界对其参与程度的质疑。专家将这些工具视为破除“自主智能体无法控制”迷思的关键步骤,并强调需要建立牢固的安全护栏。英伟达希望通过将自己置于这一开源运动的核心位置,加深其在整个AI技术栈中的影响力。
wired