Multi-Turn-Reinforcement-Learning auf Amazon SageMaker AI: Ein praktischer Leitfaden
aws ·
Dieser Artikel bietet eine praktische Anleitung zur Implementierung von Multi-Turn Reinforcement Learning (MTRL) auf Amazon SageMaker AI, um Modelle für agentic Aufgaben zu trainieren. Im Gegensatz zum supervised Fine-Tuning optimiert MTRL Modelle basierend auf dem Endergebnis mehrstufiger Sequenzen und nicht auf einzelnen Prompts. Die Autoren demonstrieren dies anhand einer Wordle-Spielumgebung, die auf Amazon Bedrock AgentCore gehostet wird, wobei der Agent mit einem Policy-Modell interagiert und nach Abschluss eine einzelne Belohnung erhält. In ihrem Experiment steigerte das Training des GPT-OSS-20B-Modells seine Lösungsrate von 61 % auf 84 % bei den Serving-Einstellungen für etwa 339 US-Dollar an Token-Kosten. Der Leitfaden beschreibt die gesamte Pipeline, einschließlich der IAM-Rollenkonfiguration, der Agent-Bereitstellung, der Datenvorbereitung und der Überwachung über MLflow. Zudem werden wichtige Design-Lehren hervorgehoben, wie das Strukturieren von Belohnungen, um Ergebnisse vor zwischengeschalteter Formung zu priorisieren, sowie das Management von Konkurrenzproblemen. Abschließend betonen die Autoren, dass Modelle unter tatsächlichen Serving-Parametern bewertet werden müssen, um irreführende Validierungsmetriken zu vermeiden.
aws