ALTK-Evolve: Wie gelernte Erinnerung die τ²-bench-Leaderboard bei Kundenserviceaufgaben ohne Frontalmodell anführt
huggingface ·
IBM Research hat ALTK-Evolve vorgestellt, eine Methode, die es Kunden Service-Agenten ermöglicht, auf der τ²-bench-Leaderboard-Spitze zu landen, ohne dass Modellgewichte aktualisiert oder feinjustiert werden müssen. Durch die Analyse von Agenten-Verläufen mit GPT-4.1 und die Extraktion von Verhaltensregeln in ein erlerntes Handbuch fügt das System diese Richtlinien direkt an den System-Prompt an. Dieser Ansatz verbessert sowohl die durchschnittliche Genauigkeit als auch die Zuverlässigkeit, gemessen an Pass^4-Scores, erheblich in den Bereichen Einzelhandel und Fluggesellschaften. Im Einzelhandel übertraf diese Technik einen einfachen ReAct-Agenten mit GPT-4.1 alle Frontier-Modelle und schlug sogar ein feinjustiertes RAFT-30B-A3B-System. Für Aufgaben im Bereich Fluggesellschaften führte dieselbe Methodik zusammen mit dem fortschrittlicheren GPT-5.5-Modell zur Spitzenposition auf dem Leaderboard. Die Studie hebt hervor, dass zwar die Kosten für Eingabe-Token aufgrund des größeren Prompts leicht steigen, die Gesprächslänge jedoch tatsächlich abnimmt, was zu geringerer Latenz und schnelleren Lösungszeiten führt. Darüber hinaus erstrecken sich die Vorteile der erlernten Richtlinien auch auf Frontier-Modelle und zeigen, dass Prompt-Level-Speicher eine skalierbare Lösung zur Verbesserung der Fähigkeiten und der Zuverlässigkeit von Agenten darstellt.
huggingface