Costruire agenti efficienti con la distillazione della conoscenza su Amazon SageMaker AI
aws ·
Questo articolo illustra come costruire agenti AI efficienti utilizzando la distillazione della conoscenza a livello di sequenza (SeqKD) su Amazon SageMaker AI. Gli autori affrontano l'alto costo dei flussi di lavoro agentic, che spesso richiedono più chiamate API a modelli frontier di grandi dimensioni, addestrando un modello 'studente' più piccolo per imitare il comportamento di un modello 'insegnante' più grande. Utilizzando GLM-5.3 come insegnante e Qwen3.5-4B come studente, generano traiettorie multi-step per un compito di assistente allo shopping e le filtrano in base al successo utilizzando lo scorer ShoppingBench. Lo studente viene affinato tramite supervised fine-tuning serverless su SageMaker AI, preservando i passaggi di ragionamento dell'insegnante insieme alle chiamate agli strumenti. I risultati delle valutazioni mostrano che il modello distillato da 4B raggiunge un Tasso di Successo Assoluto paragonabile a quello dell'insegnante frontier, superando significativamente il modello base non addestrato. Questo approccio consente alle organizzazioni di ridurre i costi di inferenza ospitando un modello più piccolo, mantenendo al contempo prestazioni di agente di alta qualità. L'articolo conclude che SeqKD rappresenta un passo efficace iniziale, sebbene compiti più complessi potrebbero richiedere in futuro metodi di reinforcement learning on-policy.
aws