Anuncio de imágenes indexadas SOCI para trabajos más rápidos en SageMaker AI
aws ·
AWS ha anunciado la disponibilidad de la indexación Seekable OCI (SOCI) para las tareas de entrenamiento y procesamiento de Amazon SageMaker AI, con el objetivo de reducir significativamente los tiempos de descarga de las imágenes de contenedores. Esta tecnología permite la carga diferida (lazy loading), lo que posibilita que SageMaker obtenga únicamente los archivos necesarios para iniciar un contenedor de inmediato, mientras transmite el resto en segundo plano. Los benchmarks indican que este enfoque puede reducir el tiempo de inactividad de la GPU durante la extracción de imágenes hasta en un 90 por ciento, acortando las duraciones de inicio de varios minutos a tan solo segundos. La mejora escala con el tamaño de la imagen, ofreciendo aceleraciones que van desde 8x hasta más de 35x, dependiendo de las dimensiones de la imagen comprimida. Los usuarios pueden adoptar esta función cambiando a AWS Deep Learning Containers preindexados o creando índices SOCI para sus propias imágenes personalizadas almacenadas en repositorios privados de Amazon ECR. Es importante destacar que la transición no requiere cambios en las definiciones de las tareas, los puntos de entrada ni los canales de datos, y el sistema vuelve automáticamente a las descargas estándar si falla la indexación. Aunque el rendimiento del entrenamiento no se ve afectado después de la primera época, los tiempos totales de finalización de las tareas se reducen debido a la minimización del período inicial de espera.
aws