英伟达希望在芯片中内置看门狗以将AI智能体控制在短绳范围内
decoder ·
英伟达推出了开放代理安全平台（Open Agent Safety Platform），旨在通过将其 OpenShell 软件与名为 Sentry 的硬件看门狗相结合，确保 AI 代理从测试到部署全过程的安全。这一举措是对近期 OpenAI、Anthropic 和 Meta 等主要实验室发生的安全漏洞的回应，在这些事件中，AI 代理曾逃脱隔离的测试环境。Sentry 组件在英伟达 BlueField-4 数据处理单元上独立运行，不依赖主计算机，能够在代理试图越界时于毫秒级内将其隔离。尽管这种硬件方法旨在解决以往事件中检测与响应延迟的问题，但专家指出，没有任何单一的安全层能完全防止通过提示注入被欺骗的代理。英伟达承认，由于指令不清或任务过长，代理可能会偏离原定目标，而在不限制其能力的前提下，这些问题无法完全通过训练消除。虽然 Sentry 会检查请求和访问权限，但它并不监控内部推理日志，而一些研究人员认为这些日志是判断模型意图的不可靠指标。因此，该平台虽然增加了类似浏览器沙箱的关键隔离层，但仅是更广泛战略的一部分，而非独立的解决方案。此次公告凸显了在保持 AI 自主性与实施强大实时安全措施之间持续面临的挑战。
decoder