Los agentes de IA tienen mal gusto en las decisiones a largo plazo y un nuevo benchmark lo demuestra
decoder ·
Investigadores de Microsoft y la Universidad City de Hong Kong han presentado Taste-Bench, un nuevo punto de referencia diseñado para evaluar cómo los agentes de IA toman decisiones a largo plazo durante tareas complejas y multietapa. A diferencia de los puntos de referencia estándar que solo miden la finalización de la tarea, esta herramienta evalúa el "gusto" del agente analizando su capacidad para elegir el camino más prometedor en bifurcaciones críticas dentro de una trayectoria. El estudio analizó 14 modelos líderes, incluidos GPT-5.6 Sol y GPT-5.5, revelando que incluso los mejores apenas superaron el 60 por ciento de precisión en estas elecciones binarias. El rendimiento disminuyó significativamente cuando la evidencia que favorecía un camino aparecía solo después de un trabajo posterior extenso, lo que indica que los modelos actuales tienen dificultades para predecir resultados futuros con eficacia. Aumentar el tiempo de razonamiento o el presupuesto computacional no mejoró los resultados, lo que sugiere que las pistas necesarias a menudo faltan en el contexto inmediato. Sin embargo, los investigadores demostraron que esta capacidad de juicio puede entrenarse mediante la destilación de conocimientos de un modelo maestro a un modelo estudiante, lo que mejoró las tasas de éxito en tareas de programación no vistas. Este hallazgo destaca una brecha significativa en las capacidades actuales de la IA respecto a la planificación a largo plazo y ofrece una vía para mejorarla mediante un entrenamiento específico.
decoder