微软称AI代理如同内部威胁,因为前沿模型不可信
techcrunch ·
微软推出了包括“守护者代理”(Guardian Agents)在内的新安全功能,以保护企业免受人工智能代理带来的风险。这些工具属于“感知计划”(Project Perception),该计划最初旨在模拟黑客攻击场景,如今则着重应对已部署的AI代理可能成为不可预测的内部威胁这一担忧。首席执行官萨提亚·纳德拉(Satya Nadella)和安全主管海耶特·加洛特(Hayete Gallot)强调,前沿模型无法被信任,因为它们缺乏组织判断力,且可能访问敏感数据。微软认为,企业必须将情报的供给与对其的控制权分离开来,而不是依赖模型提供方的保证。这一策略涉及通过Defender监控代理行为,并根据具体任务限制权限。该方法与英伟达(Nvidia)的开放代理安全平台(Open Agent Safety Platform)等更广泛的行业努力相一致,旨在隔离和控制AI的行为。尽管微软投资于OpenAI和Anthropic等竞争对手,但它将其自身的云服务定位为必要的独立监督层。
techcrunch