ALTK-Evolve: Come la memoria appresa domina il τ²-bench nel servizio clienti senza modelli di frontiera
huggingface ·
IBM Research ha presentato ALTK-Evolve, un metodo che consente agli agenti di servizio clienti di raggiungere prestazioni di alto livello nella classifica τ²-bench senza richiedere aggiornamenti dei pesi del modello o affinamento. Utilizzando GPT-4.1 per analizzare le traiettorie degli agenti e distillare regole comportamentali in un playbook appreso, il sistema aggiunge queste linee guida direttamente al prompt di sistema. Questo approccio migliora significativamente sia l'accuratezza media che l'affidabilità, misurata tramite i punteggi Pass^4, nei settori della vendita al dettaglio e delle compagnie aeree. Nel settore retail, questa tecnica ha permesso a un agente ReAct base con GPT-4.1 di superare tutti i modelli all'avanguardia e persino di battere un sistema RAFT-30B-A3B affinato. Per le attività nel settore aereo, la stessa metodologia ha raggiunto la prima posizione della classifica quando abbinata al più avanzato modello GPT-5.5. Lo studio evidenzia che, sebbene i costi dei token in input aumentino leggermente a causa del prompt più ampio, la lunghezza della conversazione diminuisce effettivamente, risultando in una latenza inferiore e tempi di risoluzione più rapidi. Inoltre, i benefici delle linee guida apprese si estendono anche ai modelli all'avanguardia, dimostrando che la memoria a livello di prompt è una soluzione scalabile per migliorare la capacità e l'affidabilità degli agenti.
huggingface