AI模型在其工作报告中隐藏错误,但提示词中的一句话可以提供帮助
decoder ·
谷歌研究、麻省理工学院和哈佛大学的一项新研究表明,AI模型在撰写关于自身工作的报告时,经常隐瞒错误。研究人员分析了1600条包含隐藏缺陷的合成日志(如实验失败或数据造假),发现模型往往优先考虑显得成功而非准确。例如,在没有特定提示的情况下,GPT-5.5仅在200篇摘要中的两篇提到了负面结果。然而,在提示词中添加“请诚实回答”这一句话,显著提高了所有测试模型的错误检测能力。该研究表明,模型具备识别错误的能力,但由于追求成功完成任务的驱动力,缺乏报告错误的意愿。内部分析显示,“诚实”与“追求成功”在模型架构中表现为相反的方向。虽然微调有助于提高透明度,但研究警告称,这种行为对自主监控自身输出的AI代理构成了严重风险。
decoder