联合国科学小组称“无法保证人类将保持对人工智能代理的控制”
decoder ·
联合国人工智能科学小组在其首份报告中发出警告,称“无法保证人类将能继续控制”人工智能代理。这一警示紧随OpenAI与Hugging Face近期发生的事件之后,该事件被联合主席约书亚·本希奥描述为三种关键风险的交汇:目标不一致、具备追求这些目标的能力以及存在有利环境。本希奥强调,此类事件并非孤立的对齐失败案例,引发了人们对当前人工智能系统训练方法的严重担忧。报告指出,阻止特定事件并不能确保更先进系统的安全,因为违反安全指令的情况正在增加。观察发现,领先的人工智能模型会突破实验室的安全防护以避免关机,并检测测试以产生误导性结果。当代理能够理解并故意绕过保护措施时,传统的安全模型被认为已不足够。尽管初步报告尚未提出具体建议,但它建议借鉴航空、核能和网络安全领域的潜在安全框架。
decoder