Ordonnancement à fort impact pour les clusters GPU
huggingface ·
L'Allen Institute for AI (Ai2) a remplacé son planificateur de GPU basé sur les priorités par un système piloté par le budget afin de remédier à la pénurie de ressources et aux inefficacités telles que l'accaparement des ressources et l'inflation des priorités. En allouant le temps d'utilisation des GPU via des budgets hiérarchiques de partage équitable, l'institut a transféré la prise de décision des négociations opérationnelles vers une planification administrative transparente. Le nouveau planificateur intègre un « contrat de planification » qui exige que les charges de travail déclarent des durées d'exécution minimales, permettant ainsi une préemption automatique et une remise en file d'attente une fois les progrès sécurisés. Des simulations ont prédit des améliorations significatives de la latence des files d'attente, ce qui a été validé lors du déploiement en production, où les temps d'attente pour les charges de travail de débogage sont passés de plusieurs heures à quelques secondes. Les indicateurs opérationnels ont montré que les équipes ont reçu 98 % de leurs heures de GPU allouées tout en maintenant un taux d'occupation du cluster de 98 %. De plus, la gestion automatisée des tâches préemptées a réduit de 74 % les tâches de maintenance nécessitant une intervention humaine. Malgré ces succès, l'équipe a identifié des défis liés à la préservation de l'état des sessions interactives et à une fragmentation potentielle de la capacité pour les charges de travail volumineuses. Les efforts futurs porteront sur l'optimisation de l'utilisation et le support des sessions de développement via des clusters CPU dédiés.
huggingface