Anúncio de imagens indexadas SOCI para trabalhos mais rápidos no SageMaker AI
aws ·
A AWS anunciou a disponibilidade da indexação Seekable OCI (SOCI) para treinos e processamentos no Amazon SageMaker AI, visando reduzir significativamente o tempo de download das imagens de contêiner. Essa tecnologia permite o carregamento sob demanda (lazy loading), possibilitando que o SageMaker busque apenas os arquivos necessários para iniciar um contêiner imediatamente, enquanto o restante é transmitido em segundo plano. Os benchmarks indicam que essa abordagem pode reduzir o tempo ocioso da GPU durante a extração das imagens em até 90%, diminuindo a duração inicial de vários minutos para poucos segundos. A melhoria escala com o tamanho da imagem, oferecendo acelerações que variam de 8x a mais de 35x, dependendo das dimensões da imagem compactada. Os usuários podem adotar esse recurso alternando para os AWS Deep Learning Containers pré-indexados ou criando índices SOCI para suas próprias imagens personalizadas armazenadas em repositórios privados do Amazon ECR. É importante destacar que a transição não exige alterações nas definições de trabalho, pontos de entrada ou canais de dados, e o sistema reverte automaticamente para downloads padrão caso a indexação falhe. Embora o desempenho do treinamento permaneça inalterado após a primeira época, o tempo total de conclusão dos trabalhos é reduzido devido à minimização do período inicial de espera.
aws