谷歌研究人员找到防止自我改进AI代理记忆测试的方法
decoder ·
谷歌研究人员开发了一种名为RRSI的新方法,以防止自我改进的AI代理记忆测试任务。该方法解决了代理在有限基准测试中过度专业化,从而导致在面对未见过的挑战时表现不佳的问题。RRSI通过随时间推移缩减编辑预算并采用严格的批评者来拒绝针对基准测试的技巧,从而调节优化循环。该系统优先考虑可衡量的性能提升而非增加的计算成本,并移除不再对有效性有贡献的组件。在八个多样化基准测试中的实验表明,与未正则化的版本相比,RRSI在使用更少令牌的情况下提高了对新任务的泛化能力。值得注意的是,使用此方法优化的“工具”(harnesses)还能增强较弱模型的性能,且无需进行修改。研究结论指出,正则化反馈对于在不发生过拟合的情况下可靠地提升代理能力至关重要。
decoder