Tu agente superó la tarea. ¿Lo hará de nuevo?
huggingface ·
Los investigadores de IBM destacan un problema crítico de fiabilidad en los agentes de IA, donde una alta precisión promedio oculta una inconsistencia significativa entre ejecuciones repetidas. Presentan el Analizador de Consistencia, una herramienta de diagnóstico que identifica puntos de decisión inestables mediante el remuestreo de trayectorias del agente sin necesidad de verdades fundamentales ni reproducciones completas. Este análisis alimenta a ALTK-Evolve para generar directrices de consistencia que estabilizan estas distribuciones de probabilidad 'planas'. En las evaluaciones en AppWorld utilizando GPT-4.1, este enfoque redujo a la mitad la brecha de consistencia, pasando de 24,4 puntos porcentuales a 12,0 puntos. El método mejoró significativamente las tasas de Pass^5 mientras mantenía o aumentaba ligeramente la precisión media. Estas directrices resultaron generalizables, transferiéndose eficazmente a tareas similares y modelos más débiles como gpt-oss-120b. Los autores instan a los desarrolladores a informar sobre Pass^k junto con Mean@k para evaluar mejor la fiabilidad de los agentes en aplicaciones críticas.
huggingface