Construir agentes eficientes con distilación de conocimiento en Amazon SageMaker AI
aws ·
Este artículo demuestra cómo construir agentes de IA eficientes mediante la distilación de conocimiento a nivel de secuencia (SeqKD) en Amazon SageMaker AI. Los autores abordan los altos costos de los flujos de trabajo agénticos, que a menudo requieren múltiples llamadas a API a modelos fronterizos grandes, entrenando un modelo 'estudiante' más pequeño para imitar el comportamiento de un modelo 'maestro' más grande. Utilizando GLM-5.3 como maestro y Qwen3.5-4B como estudiante, generan trayectorias de múltiples pasos para una tarea de asistente de compras y las filtran por éxito utilizando el puntuador ShoppingBench. El estudiante se ajusta finamente mediante ajuste fino supervisado sin servidor en SageMaker AI, preservando los pasos de razonamiento del maestro junto con las llamadas a herramientas. Los resultados de la evaluación muestran que el modelo destilado de 4 mil millones de parámetros alcanza una Tasa de Éxito Absoluto comparable a la del maestro fronterizo, superando significativamente al modelo base no entrenado. Este enfoque permite a las organizaciones reducir los costos de inferencia alojando un modelo más pequeño mientras mantienen un alto rendimiento del agente. La publicación concluye que SeqKD sirve como un paso inicial efectivo, aunque las tareas más difíciles podrían requerir eventualmente métodos de aprendizaje por refuerzo on-policy.
aws