Construire des agents efficaces avec la distillation de connaissances sur Amazon SageMaker AI
aws ·
Cet article montre comment construire des agents IA efficaces en utilisant la distillation de connaissances au niveau des séquences (SeqKD) sur Amazon SageMaker AI. Les auteurs s'attaquent aux coûts élevés des workflows agents, qui nécessitent souvent plusieurs appels API à des modèles de pointe, en entraînant un modèle « élève » plus petit pour imiter le comportement d'un modèle « professeur » plus grand. En utilisant GLM-5.3 comme professeur et Qwen3.5-4B comme élève, ils génèrent des trajectoires multi-étapes pour une tâche d'assistant shopping et les filtrent selon leur succès à l'aide du scoreur ShoppingBench. L'élève est affiné via un affinage supervisé sans serveur sur SageMaker AI, préservant ainsi les étapes de raisonnement du professeur ainsi que les appels d'outils. Les résultats d'évaluation montrent que le modèle distillé de 4 milliards de paramètres atteint un taux de réussite absolue comparable à celui du professeur de pointe, surpassant nettement le modèle de base non entraîné. Cette approche permet aux organisations de réduire les coûts d'inférence en hébergeant un modèle plus petit tout en maintenant des performances d'agent de haute qualité. L'article conclut que la SeqKD constitue une première étape efficace, bien que des tâches plus complexes puissent éventuellement nécessiter des méthodes d'apprentissage par renforcement hors politique.
aws