Effiziente Agenten mit Wissensdistillation auf Amazon SageMaker AI erstellen
aws ·
Dieser Artikel zeigt, wie sich effiziente KI-Agenten mithilfe von sequenzweiser Wissensdistillation (SeqKD) auf Amazon SageMaker AI entwickeln lassen. Die Autoren adressieren die hohen Kosten agentic Workflows, die häufig mehrere API-Aufrufe an große Frontier-Modelle erfordern, indem sie ein kleineres 'Student'-Modell darauf trainieren, das Verhalten eines größeren 'Teacher'-Modells zu imitieren. Unter Verwendung von GLM-5.3 als Teacher und Qwen3.5-4B als Student generieren sie mehrstufige Trajektorien für eine Shopping-Assistant-Aufgabe und filtern diese anhand des ShoppingBench-Scores auf Erfolg hin. Der Student wird durch serverseitiges überwachtes Feintuning auf SageMaker AI feinjustiert, wobei die Reasoning-Schritte des Teachers zusammen mit den Tool-Aufrufen beibehalten werden. Die Evaluierungsergebnisse zeigen, dass das distillierte 4B-Modell eine Absolute Success Rate erreicht, die mit der des Frontier-Teachers vergleichbar ist und das untrainierte Basismodell deutlich übertrifft. Dieser Ansatz ermöglicht es Organisationen, die Inferenzkosten durch das Hosten eines kleineren Modells zu senken, während gleichzeitig eine hochwertige Agentenleistung erhalten bleibt. Der Beitrag schließt damit, dass SeqKD einen effektiven ersten Schritt darstellt, obwohl härtere Aufgaben möglicherweise irgendwann Methoden des on-policy Reinforcement Learning erfordern werden.
aws