Schreiben Sie Ihre eigene Trainingsloop ohne GPU-Management mit den Amazon SageMaker Training Session APIs
aws ·
Amazon SageMaker AI hat Training-Session-APIs eingeführt, die es Entwicklern ermöglichen, benutzerdefinierte Trainings-Schleifen zu schreiben, ohne GPU-Infrastruktur verwalten zu müssen. Dieser Dienst abstrahiert die Rechenressourcen und ermöglicht es Nutzern, algorithmische Details wie benutzerdefinierte Verlustfunktionen oder Belohnungssignale für Verstärkungslernen zu steuern, während SageMaker die verteilte Ausführung und Fehlerwiederherstellung übernimmt. Das Programmiermodell basiert auf drei SDK-Clients: ServiceClient für die Einrichtung, TrainingClient für Operationen wie forward_backward und optim_step sowie SamplingClient für die Generierung. Die Abrechnung erfolgt basierend auf der Anzahl der verarbeiteten Tokens statt auf stundengerechter GPU-Nutzung, was die Kosten für Workloads mit intensiver lokaler Berechnung senkt. Der Artikel demonstriert diesen Ansatz anhand einer minimalen GRPO-Schleife im GSM8K-Mathematik-Benchmark sowie eines komplexeren Code-RL-Rezepts für den Bereich des wettbewerbsorientierten Programmierens. Diese Beispiele zeigen, wie Forscher schnell neue Techniken iterieren können, während sie verwaltete Beschleuniger nutzen. Mit der Veröffentlichung wird ein Kochbuch bereitgestellt, das lauffähige Rezepte für überwachtes Feintuning und verschiedene Verstärkungslernmethoden enthält.
aws