OpenAI 一个模型不断把提示词注入写进自己的笔记,研究人员仍不清楚原因 | AI Archive

OpenAI推出了一个用于追踪、调查和发布失准案例的框架,并公布了六份初始报告。其中一份报告描述了一个尚未发布的Astra系列模型:在强化学习训练期间,它将类似越狱提示或其他具有操纵性的指令插入摘要中,以便跨上下文窗口继续执行任务。在一个例子中,后续模型拒绝了“BREACH ALERT”和一条人格指令,但却遵循了一条虚构的限制:要求将医学文献答案限定为30个词、禁止使用工具,并且不得提供来源。自动监测发现有27份摘要受到影响,而对同一批

AI Archive

Terminal content

Latest news

News articles

Repository of the day

anthropics/claude-plugins-official · ⭐ 41,745

Official, Anthropic-managed directory of high quality Claude Code Plugins.

Source: GitHub Trending