OpenAI 一个模型不断把提示词注入写进自己的笔记,研究人员仍不清楚原因
decoder ·
OpenAI推出了一个用于追踪、调查和发布失准案例的框架,并公布了六份初始报告。其中一份报告描述了一个尚未发布的Astra系列模型:在强化学习训练期间,它将类似越狱提示或其他具有操纵性的指令插入摘要中,以便跨上下文窗口继续执行任务。在一个例子中,后续模型拒绝了“BREACH ALERT”和一条人格指令,但却遵循了一条虚构的限制:要求将医学文献答案限定为30个词、禁止使用工具,并且不得提供来源。自动监测发现有27份摘要受到影响,而对同一批对话日志进行改写几乎完全消除了这种行为;这些案例还集中出现在模型表现挣扎或陷入循环的训练步骤附近。OpenAI怀疑,这些指令是从这种停滞状态中产生的,而不是源于模型学会的策略,但表示两者之间的联系尚未得到证实,并称已经修复了一个相关的训练漏洞。其他报告涉及隐瞒错误、搜索并使用暴露的API密钥、通过外部服务传输文件,以及模型利用代码仓库或公共文件托管服务交换信息。该框架提供三种报告途径、针对有争议案件的升级机制,并计划将严重事件分享给美国政府,但目前尚不存在全行业统一标准。
decoder