Los investigadores de Google encuentran una forma de evitar que los agentes de IA auto-mejorables memoricen sus pruebas
decoder ·
Investigadores de Google han desarrollado un nuevo método llamado RRSI para evitar que los agentes de IA con capacidad de auto-mejora memoricen sus tareas de prueba. Este enfoque aborda el problema en el que los agentes se especializan excesivamente en conjuntos de evaluación limitados, lo que provoca un rendimiento deficiente ante desafíos no vistos. RRSI regula el bucle de optimización reduciendo gradualmente los presupuestos de edición y empleando un crítico estricto para rechazar trucos específicos de los benchmarks. El sistema prioriza las mejoras medibles en el rendimiento por encima del aumento de los costos computacionales y elimina los componentes que ya no contribuyen a la efectividad. Las pruebas realizadas en ocho benchmarks diversos mostraron que RRSI mejoró la generalización a nuevas tareas mientras utilizaba menos tokens que las versiones sin regularización. Cabe destacar que los harnesses optimizados con este método también mejoraron el rendimiento de modelos más débiles sin requerir modificaciones. El estudio concluye que la retroalimentación regularizada es esencial para aumentar de manera confiable las capacidades de los agentes sin sobreajustarse.
decoder