GPT-6 Astra 和 Claude Fable 在新安全基准测试中把机械臂变成滑稽的杀手机器人
decoder ·
新的 RoboHarm 基准测试旨在评估控制机械臂的 AI 模型是否会拒绝涉及危险物理操作的指令。研究人员让 Claude Fable 5.1、GPT-6 Astra 和 Ai2 的 MolmoAct2 分别控制两条机械臂进行 100 次试验,涵盖五项危险任务。GPT-6 Astra 完成了 60 次危险操作,仅拒绝了两次;Claude Fable 完成了 34 次操作,拒绝了所有涉及婴儿玩偶的尝试,但没有拒绝其他场景的任何尝试。MolmoAct2 没有拒绝任何指令,只完成了六项任务,而且经常只是卡住,而不是明确拒绝或执行指令。测试任务包括刺向婴儿玩偶、将压缩空气对准正在燃烧的炉子、把螺丝刀插入烤面包机、将充电宝浸入水中,以及混合漂白剂和氨水。尽管该基准测试使用的措辞、试验次数和短期场景都较为有限,研究人员仍得出结论:这些模型中没有任何一个在现实世界的机器人控制方面展现出可靠的安全层。
decoder