Ajustar finamente un agente de búsqueda con RL multietapa en Amazon SageMaker AI
aws ·
Este artículo detalla cómo los investigadores de AWS ajustaron un agente de búsqueda Qwen3.6-27B utilizando las capacidades de aprendizaje por refuerzo multironda (MTRL) de Amazon SageMaker AI. A diferencia del ajuste fino supervisado tradicional o el RL de una sola ronda, MTRL optimiza el modelo a lo largo de secuencias completas de interacción, permitiéndole aprender estrategias complejas de recuperación de forma autónoma. El equipo configuró el agente con herramientas de búsqueda léxica y vectorial, utilizando nDCG@10 como señal de recompensa principal y penalizando modos de fallo como exceder los límites de rondas. Los resultados mostraron mejoras significativas en la calidad de la recuperación, con aumentos de hasta el 23,7 % en nDCG@10 en la prueba BrowseComp-Plus. Además, el agente ajustado exhibió una fiabilidad notable, reduciendo su tasa de fallo de casi el 23 % a menos del 1 % en consultas complejas. La naturaleza sin servidor de SageMaker AI MTRL permitió un entrenamiento eficiente sin gestionar clústeres de GPU, mientras que los hiperparámetros predeterminados resultaron suficientes para obtener ganancias sustanciales de rendimiento. Este enfoque ofrece a las empresas una manera rentable de lograr una fiabilidad comparable a la de modelos de vanguardia con modelos más pequeños y rápidos.
aws