Тонкая настройка поискового агента с помощью многошагового обучения с подкреплением в Amazon SageMaker AI
aws ·
В статье подробно описывается, как исследователи AWS с помощью возможностей многоэтапного обучения с подкреплением (MTRL) в Amazon SageMaker AI выполнили тонкую настройку поискового агента на базе Qwen3.6-27B. В отличие от традиционного контролируемого дообучения или одноэтапного RL, MTRL оптимизирует модель по полным последовательностям взаимодействий, позволяя ей самостоятельно осваивать сложные стратегии поиска. Команда настроила агента с использованием инструментов лексического и векторного поиска, применяя метрику nDCG@10 в качестве основного сигнала вознаграждения и штрафуя за нежелательные режимы работы, такие как превышение лимита количества шагов. Результаты показали значительное улучшение качества поиска: прирост nDCG@10 составил до 23,7% на бенчмарке BrowseComp-Plus. Кроме того, тонко настроенный агент продемонстрировал высокую надежность, снизив частоту ошибок почти с 23% до менее чем 1% на сложных запросах. Серверная архитектура MTRL в SageMaker AI позволила эффективно проводить обучение без необходимости управления кластерами GPU, а стандартные гиперпараметры оказались достаточными для существенного повышения производительности. Этот подход предлагает предприятиям экономически эффективный способ достижения надежности, сопоставимой с моделями передового уровня, используя более маленькие и быстрые модели.
aws