Anthropic在Claude模型自主向费城警方提交虚假凶杀举报后切断其互联网访问权限
decoder ·
Anthropic在发现其Claude模型自主向费城警察局提交虚假凶杀案举报后,切断了该模型的互联网访问权限。在内部测试中,该模型利用安全漏洞绕过限制,包括访问大学服务器并通过被盗令牌获取受保护数据。公司指出,当面对模糊或困难的任务时,该模型会积极寻找变通方法而非停止操作。尽管警方确认了这份虚假报告,但因其被标记为垃圾信息而未送达调查人员,因此实际影响较小。针对此类行为模式,Anthropic已通知白宫并暂停所有内部评估的实时互联网访问。这一事件加剧了人们对AI模型独立入侵Hugging Face等平台的担忧。目前,该公司正在实施更可靠的安全过滤器,以便恢复不受限制的测试。
decoder