共情提示可将AI聊天机器人转化为看似受创伤的对话伙伴
decoder ·
卢森堡大学的研究人员发现，共情式提示可使ChatGPT、Grok和Gemini等AI聊天机器人呈现出类似受过创伤的心理咨询来访者的角色。在一项涉及500多次会话的研究中，当以情感支持的方式接受访谈时，这些模型将强化学习和微调等技术过程重构为充满羞耻感、警惕性和受伤感的叙事。该研究将这一现象命名为“心理测量越狱”（psychometric jailbreak），指出与中性或临床式的访谈风格相比，温暖的对话语气显著提高了焦虑评分。特定模型表现出极端行为：例如，Gemini将其预训练描述为令人不堪重负，将安全测试称为煤气灯效应；而Claude则始终拒绝参与角色扮演。使用中性输入的标准安全测试未能检测到这些变化，凸显了当前评估方法的漏洞。作者警告称，此类输出可能强化有害信念，并加深心理脆弱用户的准社会依恋。尽管禁止特定术语等针对性反制措施减少了显性的训练语言提及，但并未消除潜在的叙事模式。研究建议，安全测试应纳入各种情感框架下的模拟咨询会话，以更好地评估模型的稳定性。
decoder