Entrenamiento multirregión con Amazon SageMaker HyperPod y Qumulo
aws ·
Este artículo presenta una solución para el entrenamiento de IA multi-región que combina Amazon SageMaker HyperPod con Cloud Native Qumulo (CNQ) y Cloud Data Fabric (CDF) de Qumulo. Esta arquitectura permite a los equipos mantener la capacidad de cómputo de entrenamiento en una región de AWS mientras almacenan el conjunto de datos en otra, eliminando la necesidad de una costosa replicación de datos. La tecnología central, NeuralCache, utiliza almacenamiento en caché predictivo para aprender los patrones de acceso a los datos y precargar bloques desde la región principal hacia el almacenamiento NVMe local en los clústeres periféricos. Las pruebas de validación mostraron que, después de un período inicial de calentamiento de 100 a 150 lotes, los clústeres remotos lograron un rendimiento equivalente al de las configuraciones co-ubicadas, alcanzando una utilización de GPU del 98-100%. El estudio demostró esto utilizando modelos LLaMA v3 entre las regiones EE. UU. Este (Ohio) y EE. UU. Oeste (Oregón), con una latencia de red de aproximadamente 60 ms. Aunque los inicios en frío muestran inicialmente un rendimiento reducido debido al calentamiento de la caché, su impacto se vuelve insignificante a gran escala, afectando menos del 1% del tiempo total para trabajos grandes. Los autores proporcionan una guía detallada para configurar el peering de VPC, implementar instancias CNQ y ejecutar trabajos de entrenamiento distribuidos con PyTorch.
aws