AI安全是一个工程问题——如何在智能体栈的每一层解决它
nvidia ·
文章认为,AI安全本质上是一个工程挑战,需要在智能体栈的每一层明确需求、实施可执行的管控措施并确立清晰的责任归属。尽管AI代理引入了推理和工具使用等新能力,但身份验证和访问控制等核心安全原则依然不可或缺。保护工作必须通过沙箱执行和严格的策略强制执行集成到运行时环境中,确保代理无法自行授权提升权限。NVIDIA的OpenShell作为一个安全的运行时示例,Cisco和JFrog等合作伙伴则增加了治理和技能验证层。文章强调,在部署前需要进行持续测试和基于证据的验证,以确保管控措施能有效阻止未经授权的数据传输或凭证窃取。建议防御者利用开源和闭源模型来检查组件,并在受控环境中重现故障。最后,行业被呼吁通过“开放安全AI联盟”(Open Secure AI Alliance)等倡议共享发现成果和工具,以加速防御能力的提升。
nvidia