Annunciati gli indici SOCI per accelerare i lavori di SageMaker AI
aws ·
AWS ha annunciato la disponibilità dell'indicizzazione Seekable OCI (SOCI) per i job di addestramento e elaborazione di Amazon SageMaker AI, al fine di ridurre significativamente i tempi di download delle immagini dei container. Questa tecnologia abilita il caricamento differito (lazy loading), consentendo a SageMaker di recuperare solo i file necessari per avviare immediatamente un container mentre il resto viene trasmesso in background. I benchmark indicano che questo approccio può ridurre l'inattività delle GPU durante il prelievo delle immagini fino al 90%, abbassando le durate di avvio da diversi minuti a pochi secondi. Il miglioramento scala con la dimensione dell'immagine, offrendo accelerazioni che vanno da 8x a oltre 35x, a seconda delle dimensioni dell'immagine compressa. Gli utenti possono adottare questa funzionalità passando ai contenitori AWS Deep Learning già indicizzati o creando indici SOCI per le proprie immagini personalizzate archiviate nei repository privati di Amazon ECR. È importante notare che la transizione non richiede modifiche alle definizioni dei job, ai punti di ingresso o ai canali dati, e il sistema passa automaticamente ai download standard se l'indicizzazione fallisce. Sebbene le prestazioni di addestramento rimangano invariate dopo il primo epoch, i tempi complessivi di completamento del job sono ridotti grazie alla minimizzazione del periodo di attesa iniziale.
aws