Annonce des images indexées SOCI pour accélérer les travaux SageMaker AI
aws ·
AWS a annoncé la disponibilité de l'indexation Seekable OCI (SOCI) pour les jobs d'entraînement et de traitement Amazon SageMaker AI, afin de réduire considérablement les temps de téléchargement des images de conteneur. Cette technologie permet le chargement différé (lazy loading), autorisant SageMaker à récupérer uniquement les fichiers nécessaires pour démarrer un conteneur immédiatement, tout en diffusant le reste en arrière-plan. Les benchmarks indiquent que cette approche peut réduire le temps d'inactivité des GPU pendant le téléchargement des images jusqu'à 90 %, ramenant les durées de démarrage de plusieurs minutes à quelques secondes. L'amélioration s'échelle avec la taille de l'image, offrant des accélérations allant de 8x à plus de 35x selon les dimensions de l'image compressée. Les utilisateurs peuvent adopter cette fonctionnalité en passant aux AWS Deep Learning Containers pré-indexés ou en créant des index SOCI pour leurs propres images personnalisées stockées dans des dépôts privés Amazon ECR. Il est important de noter que cette transition ne nécessite aucun changement aux définitions de jobs, points d'entrée ou canaux de données, et le système revient automatiquement aux téléchargements standard si l'indexation échoue. Bien que les performances d'entraînement restent inchangées après la première époque, les temps globaux de finalisation des jobs sont réduits grâce à la minimisation du délai initial d'attente.
aws