Ottimizzare un agente di ricerca con RL multi-turn su Amazon SageMaker AI
aws ·
Questo articolo illustra come i ricercatori di AWS abbiano perfezionato un agente di ricerca Qwen3.6-27B utilizzando le capacità di apprendimento per rinforzo multi-turno (MTRL) di Amazon SageMaker AI. A differenza del fine-tuning supervisionato tradizionale o del RL a turno singolo, MTRL ottimizza il modello su intere sequenze di interazione, consentendogli di apprendere autonomamente strategie di recupero complesse. Il team ha configurato l'agente con strumenti di ricerca lessicale e vettoriale, utilizzando nDCG@10 come segnale di ricompensa principale e penalizzando modalità di errore come il superamento dei limiti di turno. I risultati hanno dimostrato miglioramenti significativi nella qualità del recupero, con guadagni nDCG@10 fino al 23,7% sul benchmark BrowseComp-Plus. Inoltre, l'agente perfezionato ha mostrato una notevole affidabilità, riducendo il suo tasso di errore da quasi il 23% a meno dell'1% su query complesse. La natura serverless di SageMaker AI MTRL ha consentito un addestramento efficiente senza la gestione di cluster GPU, mentre gli iperparametri predefiniti si sono rivelati sufficienti per ottenere sostanziali miglioramenti delle prestazioni. Questo approccio offre alle imprese un modo economicamente vantaggioso per raggiungere un'affidabilità di livello frontiera con modelli più piccoli e veloci.
aws