Объявление об индексируемых образах SOCI для ускорения задач SageMaker AI
aws ·
AWS объявила о доступности индексации Seekable OCI (SOCI) для задач обучения и обработки в Amazon SageMaker AI, что позволяет значительно сократить время загрузки контейнерных образов. Эта технология обеспечивает отложенную загрузку: SageMaker может немедленно запустить контейнер, получив только необходимые файлы, а остальное содержимое будет загружаться фоновой потоковой передачей. Согласно результатам тестирования, такой подход сокращает время простоя GPU во время загрузки образа на величину до 90 процентов, уменьшая продолжительность запуска с нескольких минут до секунд. Эффект масштабируется в зависимости от размера образа, обеспечивая ускорение в диапазоне от 8x до более чем 35x в зависимости от размеров сжатого образа. Пользователи могут воспользоваться этой функцией, перейдя на предварительно проиндексированные AWS Deep Learning Containers или создав индексы SOCI для собственных пользовательских образов, хранящихся в частных репозиториях Amazon ECR. Важно отметить, что переход не требует изменений в определениях задач, точках входа или каналах данных, а система автоматически возвращается к стандартной загрузке в случае сбоя индексации. Хотя производительность обучения после первого эпохи остается неизменной, общее время завершения задач сокращается за счет минимизации начального периода ожидания.
aws