Anthropic 与埃森哲合作开展嵌入式评估
anthropic ·
Anthropic正与埃森哲旗下的专业人工智能业务部门Faculty合作,对前沿人工智能模型开展独立评估。这项工作将包括模型评估和红队测试、对齐评估以及安全防护措施测试,并借鉴埃森哲在企业和政府人工智能部署方面的经验。Anthropic和埃森哲预计未来五年将各自至少投入10亿美元,用于建设评估能力。嵌入式评估人员将在人工智能公司内部工作,获得类似员工的访问权限,从而能够观察训练过程、审查开发和部署决策、与员工交流、核实安全承诺、发现盲点并报告事件。Anthropic表示,独立评估人员将增强其问责机制的可验证性,但模型安全责任仍由Anthropic承担。由于相关标准和长期资金体系尚未建立,Anthropic最初将直接资助埃森哲的工作,同时也将与METR及其他非营利评估机构展开交流;该公司预计,这种非排他性方式将逐步发展为一个拥有共同标准的更广泛生态系统。
anthropic