Ankündigung von SOCI-indizierten Bildern für schnellere SageMaker AI-Jobs
aws ·
AWS hat die Verfügbarkeit von Seekable OCI (SOCI)-Indizierung für Amazon SageMaker AI-Trainings- und Verarbeitungsaufgaben angekündigt, um die Download-Zeiten von Container-Images erheblich zu verkürzen. Diese Technologie ermöglicht Lazy Loading, wodurch SageMaker nur die notwendigen Dateien abruft, um einen Container sofort zu starten, während der Rest im Hintergrund gestreamt wird. Benchmarks zeigen, dass dieser Ansatz die GPU-Leerlaufzeit beim Image-Pull um bis zu 90 Prozent reduzieren kann und die Startdauer von mehreren Minuten auf wenige Sekunden verkürzt. Die Verbesserung skaliert mit der Bildgröße und bietet je nach komprimierter Bildgröße Geschwindigkeitssteigerungen von 8x bis über 35x. Nutzer können dieses Feature übernehmen, indem sie zu vorindizierten AWS Deep Learning Containern wechseln oder SOCI-Indizes für ihre eigenen benutzerdefinierten Images in privaten Amazon ECR-Repositories erstellen. Wichtig ist, dass der Übergang keine Änderungen an Job-Definitionen, Einstiegspunkten oder Datenkanälen erfordert und das System bei fehlerhafter Indizierung automatisch auf Standarddownloads zurückgreift. Während die Trainingsleistung nach der ersten Epoche unverändert bleibt, werden die Gesamt-Job-Abschlusszeiten aufgrund der minimierten anfänglichen Wartezeit reduziert.
aws