Feinabstimmung eines Suchagenten mit Multi-Turn-RL auf Amazon SageMaker AI
aws ·
Dieser Artikel beschreibt, wie AWS-Forscher einen Qwen3.6-27B-Suchagenten mit den Multi-Turn-Reinforcement-Learning-Funktionen (MTRL) von Amazon SageMaker AI nachfeinerten. Im Gegensatz zum traditionellen überwachtes Feintuning oder Single-Turn-RL optimiert MTRL das Modell über vollständige Interaktionssequenzen hinweg und ermöglicht es ihm, komplexe Abrufstrategien autonom zu erlernen. Das Team konfigurierte den Agenten mit lexikalischen und Vektor-Suchtools, wobei nDCG@10 als primäres Belohnungssignal diente und Ausfallmodi wie das Überschreiten der Drehzahlbegrenzung bestraft wurden. Die Ergebnisse zeigten erhebliche Verbesserungen in der Abrufqualität, mit nDCG@10-Gewinnen von bis zu 23,7 % auf dem BrowseComp-Plus-Benchmark. Darüber hinaus zeigte der nachgefeinerte Agent eine bemerkenswerte Zuverlässigkeit, da seine Ausfallrate bei komplexen Anfragen von fast 23 % auf weniger als 1 % sank. Der serverlose Charakter von SageMaker AI MTRL ermöglichte ein effizientes Training ohne Verwaltung von GPU-Clustern, während die Standard-Hyperparameter für erhebliche Leistungssteigerungen ausreichten. Dieser Ansatz bietet Unternehmen eine kosteneffektive Möglichkeit, eine Zuverlässigkeit auf dem Niveau führender Modelle mit kleineren, schnelleren Modellen zu erreichen.
aws