Prestito e prestito di risorse tra team con la gestione delle quote di AWS Batch per i lavori di addestramento di SageMaker
aws ·
AWS ha introdotto la gestione delle quote per AWS Batch per supportare i lavori di addestramento di Amazon SageMaker, consentendo alle organizzazioni di coordinare meglio la capacità GPU condivisa tra più team. Questa nuova funzionalità di pianificazione consente agli amministratori di definire quote specifiche per determinati team o progetti, utilizzando strategie come il prestito, il borrowing (prelievo) o la prenotazione di risorse di calcolo non utilizzate. Il sistema gestisce automaticamente la preemption trasversale alle quote per recuperare la capacità prestata quando il team che ha prestato le risorse ne ha bisogno, assicurando che i carichi di lavoro prioritari non subiscano ritardi. Inoltre, la preemption all'interno della quota consente ai lavori di priorità più elevata nella stessa quota di interrompere quelli in esecuzione a priorità inferiore se necessario. Gli amministratori possono configurare queste impostazioni utilizzando l'SDK Python di SageMaker, che ora include un modulo aws_batch per la sottomissione programmatica dei lavori. L'articolo illustra come diverse configurazioni, come LEND_AND_BORROW rispetto a RESERVE, si adattino a diverse priorità dei carichi di lavoro e tolleranze alle interruzioni. Automatizzando l'allocazione delle risorse e la priorizzazione, questa funzione aiuta ad aumentare l'utilizzo del calcolo riducendo al contempo il carico operativo per gli amministratori dell'infrastruttura.
aws