Многозонное обучение с использованием Amazon SageMaker HyperPod и Qumulo
aws ·
В статье представлено решение для многорегионального обучения ИИ, сочетающее Amazon SageMaker HyperPod с Cloud Native Qumulo (CNQ) и Cloud Data Fabric (CDF). Эта архитектура позволяет командам размещать вычислительные ресурсы для обучения в одном регионе AWS, а данные — в другом, устраняя необходимость дорогостоящего реплицирования данных. Ключевая технология NeuralCache использует предиктивное кэширование: она изучает шаблоны доступа к данным и предварительно загружает блоки из центрального региона на локальные NVMe-накопители кластеров-спутников. Тесты подтвердили, что после начальной фазы прогрева (100–150 батчей) удаленные кластеры достигают пропускной способности, эквивалентной развертываниям в одном регионе, обеспечивая загрузку GPU на уровне 98–100%. Исследование было проведено на моделях LLaMA v3 между регионами US East (Ohio) и US West (Oregon) при сетевой задержке около 60 мс. Хотя холодный старт изначально снижает производительность из-за заполнения кэша, его влияние становится незначительным при масштабировании, затрагивая менее 1% общего времени выполнения крупных задач. Авторы подробно описывают процесс настройки VPC peering, развертывания инстансов CNQ и запуска распределенных заданий PyTorch.
aws