ALTK-Evolve: Como a memória aprendida lidera o τ²-bench em serviços ao cliente sem um modelo de fronteira
huggingface ·
A IBM Research apresentou o ALTK-Evolve, um método que permite que agentes de atendimento ao cliente alcancem desempenho de alto nível no ranking τ²-bench sem exigir atualizações ou ajustes finos nos pesos do modelo. Ao utilizar o GPT-4.1 para analisar trajetórias dos agentes e condensar regras comportamentais em um manual aprendido, o sistema anexa essas diretrizes diretamente ao prompt do sistema. Essa abordagem melhora significativamente tanto a precisão média quanto a confiabilidade, medida pelas pontuações Pass^4, nos setores de varejo e aéreo. No varejo, essa técnica permitiu que um agente ReAct básico com GPT-4.1 superasse todos os modelos de fronteira e até mesmo um sistema RAFT-30B-A3B ajustado finamente. Para tarefas aéreas, a mesma metodologia liderou o ranking quando combinada com o modelo mais avançado GPT-5.5. O estudo destaca que, embora os custos de tokens de entrada aumentem ligeiramente devido ao prompt maior, o comprimento da conversa diminui, resultando em menor latência e tempos de resolução mais rápidos. Além disso, os benefícios das diretrizes aprendidas se estendem aos modelos de fronteira, demonstrando que a memória em nível de prompt é uma solução escalável para aprimorar a capacidade e a confiabilidade dos agentes.
huggingface