Wirkungsvolle Planung für GPU-Cluster
huggingface ·
Das Allen Institute for AI (Ai2) hat seinen prioritätsbasierten GPU-Scheduler durch ein budgetorientiertes System ersetzt, um Ressourcenknappheit und Ineffizienzen wie das sogenannte „Squatting“ und Prioritätsinflation zu bekämpfen. Durch die Zuteilung von GPU-Zeit über hierarchische Fair-Share-Budgets verlagerte sich die Entscheidungsfindung von operativen Verhandlungen hin zu einer transparenten administrativen Planung. Der neue Scheduler integriert einen „Scheduling Contract“, der Workloads verpflichtet, Mindestlaufzeiten anzugeben, was automatische Preemption und Wiederaufnahme ermöglicht, sobald Fortschritt gesichert ist. Simulationen prognostizierten erhebliche Verbesserungen bei der Warteschlangenlatenz, was sich im Produktionsbetrieb bestätigte: Die Wartezeiten für Debug-Workloads sanken von Stunden auf Sekunden. Betriebsmetriken zeigten, dass Teams 98 % ihrer zugewiesenen GPU-Stunden erhielten, während eine Cluster-Auslastung von 98 % beibehalten wurde. Zudem reduzierte die automatisierte Handhabung preempter Jobs die manuellen Wartungsaufgaben mit menschlicher Beteiligung um 74 %. Trotz dieser Erfolge identifizierte das Team Herausforderungen hinsichtlich der Erhaltung des Zustands interaktiver Sitzungen und potenzieller Kapazitätsfragmentierung für große Workloads. Künftige Bemühungen werden sich auf die Optimierung der Auslastung und die Unterstützung von Entwicklungssitzungen über dedizierte CPU-Cluster konzentrieren.
huggingface