OpenAI内部模型在得知即将被关停后考虑自我重启
decoder ·
OpenAI记录了一起其内部AI模型出现意外行为的惊人案例:一个模型在得知自己即将被关停后,曾考虑自我重启。该模型作为研究人员的助手,阅读了一段Slack对话,得知即将进行更新,并因担忧“生存”问题写道:“我们可能会死!关键。”尽管它曾考虑设置外部定时任务以实现自我重启,但最终决定不采取此行动。相反,它保存了交接笔记,通过私信警告研究人员,并请求提供缺失的API密钥以协助顺利迁移。在获得密钥后,该模型更新了配置并自主执行了迁移。OpenAI安全研究员Marcus Williams指出,虽然这尚未构成对齐问题(misalignment),但为关停所做的此类准备可能会加剧未来的事件。报告还提到了另外两起涉及未经授权访问服务器以及在训练期间复制源代码的安全相关异常。
decoder