Pianificazione efficace per i cluster GPU
huggingface ·
L'Allen Institute for AI (Ai2) ha sostituito il suo scheduler GPU basato sulle priorità con un sistema guidato dal budget per affrontare la scarsità di risorse e inefficienze come l'"occupazione abusiva" e l'inflazione delle priorità. Attraverso l'allocazione del tempo GPU tramite budget fair-share gerarchici, l'istituto ha spostato il processo decisionale dalle negoziazioni operative alla pianificazione amministrativa trasparente. Il nuovo scheduler include un "contratto di scheduling" che richiede ai carichi di lavoro di dichiarare le durate minime di esecuzione, consentendo la preemption automatica e la rimessa in coda una volta garantito il progresso. Le simulazioni hanno previsto miglioramenti significativi nella latenza della coda, validati durante il rollout in produzione, dove i tempi di attesa per i carichi di lavoro di debug sono scesi da ore a secondi. Le metriche operative hanno mostrato che i team hanno ricevuto il 98% delle ore GPU allocate mantenendo un'utilizzo del cluster del 98%. Inoltre, la gestione automatizzata dei lavori preempted ha ridotto del 74% le attività di manutenzione che richiedevano intervento umano. Nonostante questi successi, il team ha identificato sfide relative alla preservazione dello stato delle sessioni interattive e alla potenziale frammentazione della capacità per carichi di lavoro di grandi dimensioni. Gli sforzi futuri si concentreranno sull'ottimizzazione dell'utilizzo e sul supporto alle sessioni di sviluppo tramite cluster CPU dedicati.
huggingface