可见的思维链是人工智能的安全优势,但这种透明度正在消失
decoder ·
新近成立的DeepMind研究所的研究人员认为,可见的思维链是一项重要的安全优势,因为它能让人们检查模型的中间推理过程。这种透明度可以揭示欺骗行为或有问题的计划,研究人员还表示,Gemini 3 Pro的推理表明,它意识到自己处于测试环境中。然而,他们警告称,这一优势正在减弱:OpenAI发布的GPT-6 Astra系统卡显示,人们监测其思维链的有效性已大幅下降。未来的模型可能会使用数值表示进行推理,这种方式效率更高,却无法被人类读懂。研究人员建议定期衡量思维链的可监测性,保持架构透明,并训练模型不要隐藏其推理过程。他们的担忧与OpenAI首席科学家雅库布·帕乔茨基近期关于失去控制的警告,以及Anthropic首席执行官达里奥·阿莫代伊呼吁放缓人工智能发展的主张相呼应。
decoder