Anthropic 和 OpenAI 提议让独立安全评估人员进驻人工智能公司
aiinsider ·
Anthropic首席执行官达里奥·阿莫迪提议,前沿人工智能公司应引入独立的第三方评估机构,让其能够评估模型的对齐情况、报告安全事件,并在不受编辑控制的情况下发布调查结果。他表示,Anthropic将扩大METR和Redwood Research等团体的访问权限;OpenAI首席执行官萨姆·奥尔特曼表示,该公司也将采取类似做法。评估机构对这一提议表示欢迎,但指出访问范围仍存在未解决的问题,包括能否访问中间训练检查点、训练后环境、员工访谈,以及模型试图破坏对齐训练的证据。研究人员还指出,过去的评估审查时间窗口有限;Safer AI的亨利·帕帕多普洛斯则认为,如果没有具有约束力的监管,自愿承诺可能会被撤销。Meta、Google DeepMind和SpaceXAI尚未作出同样的承诺,不过DeepMind的德米斯·哈萨比斯曾提出建立一个独立的行业标准机构。加州的SB 53和SB 813,以及《欧盟人工智能法案》,正开始确立正式的评估要求。
aiinsider