ALTK-Evolve : Comment la mémoire apprise domine le classement τ²-bench pour le service client sans modèle de pointe
huggingface ·
IBM Research a présenté ALTK-Evolve, une méthode permettant aux agents de service client d'atteindre des performances de premier plan sur le leaderboard τ²-bench sans nécessiter de mise à jour des poids du modèle ni de fine-tuning. En utilisant GPT-4.1 pour analyser les trajectoires des agents et distiller des règles comportementales dans un manuel appris, le système ajoute ces directives directement au prompt système. Cette approche améliore significativement à la fois la précision moyenne et la fiabilité, mesurée par les scores Pass^4, dans les secteurs du commerce de détail et de l'aviation. Dans le secteur du commerce de détail, cette technique a permis à un agent ReAct basique avec GPT-4.1 de surpasser tous les modèles de pointe et même de dépasser un système RAFT-30B-A3B ayant subi un fine-tuning. Pour les tâches aériennes, la même méthodologie a atteint la première place du classement lorsqu'elle était associée au modèle plus avancé GPT-5.5. L'étude met en évidence que bien que les coûts liés aux tokens d'entrée augmentent légèrement en raison du prompt plus volumineux, la longueur des conversations diminue effectivement, ce qui se traduit par une latence réduite et des temps de résolution plus rapides. De plus, les avantages des directives apprises s'étendent aux modèles de pointe, démontrant que la mémoire au niveau du prompt constitue une solution évolutive pour améliorer la capacité et la fiabilité des agents.
huggingface