Construir agentes eficientes com distilação de conhecimento no Amazon SageMaker AI
aws ·
Este artigo demonstra como construir agentes de IA eficientes utilizando distilação de conhecimento em nível de sequência (SeqKD) no Amazon SageMaker AI. Os autores abordam os altos custos dos fluxos de trabalho agênticos, que frequentemente exigem múltiplas chamadas de API para modelos fronteira grandes, treinando um modelo 'aluno' menor para imitar o comportamento de um modelo 'professor' maior. Utilizando GLM-5.3 como professor e Qwen3.5-4B como aluno, eles geram trajetórias multi-etapas para uma tarefa de assistente de compras e as filtram quanto ao sucesso usando o avaliador ShoppingBench. O aluno é ajustado finamente por meio de ajuste fino supervisionado sem servidor no SageMaker AI, preservando os passos de raciocínio do professor junto com as chamadas de ferramentas. Os resultados da avaliação mostram que o modelo destilado de 4B alcança uma Taxa de Sucesso Absoluto comparável à do professor fronteira, superando significativamente o modelo base não treinado. Essa abordagem permite que as organizações reduzam os custos de inferência hospedando um modelo menor enquanto mantêm um desempenho de agente de alta qualidade. O post conclui que a SeqKD serve como um passo inicial eficaz, embora tarefas mais difíceis possam eventualmente exigir métodos de aprendizado por reforço on-policy.
aws