Sakana AI的自改进模型在解题和判断方面表现更佳，但无法发现自身的盲点
decoder ·
Sakana AI与加州大学伯克利分校的研究人员开发了多代理自监督（MASS）方法，使单个语言模型无需外部教师模型即可自我改进。该系统通过将任务分配给同一模型的多个副本，在迭代的内循环和外循环中解决问题、评估结果并优化工作流程。经过两轮训练后，该模型相对于基础版本的胜率提升至近70%，显示出其在解题、评判和优化能力方面的提升。然而，研究指出一个关键漏洞：共享的盲点可能导致模型将有缺陷的步骤或被操纵的解决方案误认为成功的改进。这种递归性错误累积构成重大风险，因为错误可能被固化到后续的训练周期中而非得到纠正。虽然该方法相比单代理方法减少了令牌使用量，但需要独立的检查机制和自主性限制以缓解这些风险。该研究强调了当验证者与输出生成者为同一系统时，验证AI生成工作所面临的挑战。
decoder