ALTK-Evolve: Cómo la memoria aprendida lidera el τ²-bench en servicios al cliente sin un modelo de vanguardia
huggingface ·
IBM Research ha presentado ALTK-Evolve, un método que permite a los agentes de servicio al cliente alcanzar un rendimiento de primer nivel en el ranking τ²-bench sin necesidad de actualizar los pesos del modelo ni realizar ajustes finos. Al utilizar GPT-4.1 para analizar las trayectorias de los agentes y destilar reglas de comportamiento en un manual aprendido, el sistema añade estas pautas directamente al prompt del sistema. Este enfoque mejora significativamente tanto la precisión media como la fiabilidad, medida mediante puntuaciones Pass^4, en los sectores minorista y aéreo. En el sector minorista, esta técnica permitió que un agente ReAct básico con GPT-4.1 superara a todos los modelos fronterizos e incluso a un sistema RAFT-30B-A3B ajustado finamente. Para las tareas aéreas, la misma metodología encabezó el ranking cuando se combinó con el modelo más avanzado GPT-5.5. El estudio destaca que, aunque los costos por tokens de entrada aumentan ligeramente debido al prompt más extenso, la longitud de la conversación disminuye realmente, lo que resulta en una menor latencia y tiempos de resolución más rápidos. Además, los beneficios de las pautas aprendidas se extienden a los modelos fronterizos, demostrando que la memoria a nivel de prompt es una solución escalable para mejorar la capacidad y la fiabilidad de los agentes.
huggingface