Der GPU-Mangel in Ihrer eigenen Infrastruktur: Warum KI-Arbeitslasten warten, während Kapazitäten ungenutzt bleiben
ainews ·
Dieser Artikel erklärt, warum KI-Workloads oft in Warteschlangen stehen, obwohl Überwachungssysteme eine niedrige GPU-Auslastung anzeigen. Dabei wird verdeutlicht, dass Metriken zur Rechenaktivität nicht die verfügbare Kapazität widerspiegeln. Kubernetes standardmäßig auf exklusive Zuweisung ausgelegt ist, bedeutet dies, dass ein einzelner Workload, der ein Gerät belegt, alle anderen blockiert, unabhängig davon, wie wenig Silizium er aktiv nutzt. Der Text identifiziert vier Hauptursachen für dieses Phänomen: exklusive Gerätebelegung, VRAM-Auslastung durch geladene Modelle, Einschränkungen bei Platzierungsregeln und Engpässe auf Anwendungsebene wie CPU- oder E/A-Verzögerungen. Es werden drei Methoden zur GPU-Teilen verglichen – Time-Slicing, Multi-Instance GPU (MIG) und Multi-Process Service (MPS) – wobei ihre jeweiligen Vor- und Nachteile hinsichtlich Speicherisolation, Hardwareanforderungen und Beobachtbarkeit hervorgehoben werden. Eine diagnostische Sequenz wird bereitgestellt, um Teams dabei zu helfen, festzustellen, ob das Problem auf Zuweisung, Speicher, Platzierung oder externe Abhängigkeiten zurückzuführen ist, bevor neue Hardware gekauft wird. Der Artikel zitiert einen Bericht von Cast AI, der eine durchschnittliche flottenweite GPU-Auslastung von nur 5 % angibt, was darauf hindeutet, dass die meisten scheinbar ungenutzten Kapazitäten tatsächlich zugewiesen und nicht frei sind. Abschließend wird ein Fallstudie vorgestellt, in der ALLEN Digital die Kosten um 71 % senkte, indem es von dedizierten Instanzen zu gemeinsam genutzten GPU-Konfigurationen mit Automatisierungstools wechselte.
ainews