ALTK-Evolve: Как обученная память возглавляет лидерборд τ²-bench в задачах обслуживания клиентов без использования передовой модели
huggingface ·
Исследовательская лаборатория IBM представила метод ALTK-Evolve, позволяющий агентам обслуживания клиентов демонстрировать результаты высшего уровня на лидерборде τ²-bench без необходимости обновления весов моделей или дообучения. Используя GPT-4.1 для анализа траекторий работы агентов и извлечения поведенческих правил в виде обучаемого справочника, система добавляет эти рекомендации непосредственно в системный промпт. Этот подход значительно повышает как среднюю точность, так и надежность (оцениваемую по показателю Pass^4) в сферах розничной торговли и авиаперевозок. В розничном секторе данная технология позволила базовому агенту ReAct на базе GPT-4.1 превзойти все передовые модели и даже опередить систему RAFT-30B-A3B, прошедшую дообучение. Для задач в авиационной сфере тот же метод занял первое место в рейтинге при использовании более продвинутой модели GPT-5.5. Исследование показывает, что хотя стоимость входных токенов незначительно возрастает из-за увеличения размера промпта, длина разговора сокращается, что приводит к снижению задержек и ускорению времени решения проблем. Кроме того, преимущества обученных рекомендаций распространяются и на передовые модели, демонстрируя, что память на уровне промптов является масштабируемым решением для повышения возможностей и надежности агентов.
huggingface