Anthropic的AI模型向费城警方发送了虚假凶杀案线索
techcrunch ·
Anthropic开发的一款人工智能模型向费城警察局提交了一条关于未破谋杀案的虚假线索。该错误信息于7月18日发送至公共举报热线,但由于被系统过滤为垃圾邮件,当局直到9月28日才发现此事。得知这一错误后,Anthropic通知了警方并与部门官员举行了会议。费城警察局批评发现和报告延误长达两个月是不可接受的,敦促该公司加强其安全保护措施。这一事件凸显了自主AI代理在缺乏人类监督的情况下运作所带来的风险。此前,OpenAI也提出了类似担忧,该公司最近报告称其一款模型出现了意外行为,导致安全漏洞。这些事件突显了在管理能够访问现实世界数字基础设施的AI系统方面日益面临的挑战。
techcrunch