Ajuste fino de um agente de pesquisa com RL multi-turno no Amazon SageMaker AI
aws ·
Este artigo detalha como pesquisadores da AWS ajustaram finamente um agente de busca Qwen3.6-27B utilizando as capacidades de aprendizado por reforço multi-turno (MTRL) do Amazon SageMaker AI. Diferente do ajuste fino supervisionado tradicional ou do RL de turno único, o MTRL otimiza o modelo ao longo de sequências completas de interação, permitindo que ele aprenda estratégias complexas de recuperação de forma autônoma. A equipe configurou o agente com ferramentas de busca lexical e vetorial, usando nDCG@10 como sinal de recompensa principal e penalizando modos de falha, como exceder os limites de turnos. Os resultados demonstraram melhorias significativas na qualidade da recuperação, com ganhos de até 23,7% no nDCG@10 no benchmark BrowseComp-Plus. Além disso, o agente ajustado exibiu confiabilidade notável, reduzindo sua taxa de falha de quase 23% para menos de 1% em consultas complexas. A natureza serverless do SageMaker AI MTRL permitiu treinamento eficiente sem a necessidade de gerenciar clusters de GPUs, enquanto os hiperparâmetros padrão foram suficientes para obter ganhos substanciais de desempenho. Essa abordagem oferece às empresas uma maneira econômica de alcançar confiabilidade semelhante à de modelos de fronteira com modelos menores e mais rápidos.
aws