Von Megawatt zu Tokens: Wie NVIDIA die Produktion von KI-Fabriken maximiert
nvidia ·
NVIDIA hat seine DSX-Plattform eingeführt, um die Produktion in KI-Fabriken zu optimieren, indem der Token-Durchsatz innerhalb fester Leistungsgrenzen maximiert wird. Erste Bereitstellungen zeigen, dass ein intelligentes Workload-Management den clusterweiten Token-Durchsatz um 24 % steigern kann, ohne den Energieverbrauch zu erhöhen. Das System ermöglicht es Rechenzentren, automatisch auf Signale des Stromnetzes zu reagieren, wodurch die Leistungsanforderung während Spitzenzeiten gesenkt wird, während kritische Aufgaben mit hoher Priorität weiterhin ausgeführt werden. Lambda Cloud hat diese Funktionen validiert und dabei erhebliche Verbesserungen der Leistung pro Watt mit NVIDIA-HGX-B200-GPU-Servern nachgewiesen. Darüber hinaus entwickelt NVIDIA eine 800-V-Gleichstrom-Stromarchitektur, um die Effizienz weiter zu steigern und dichtere Computing-Racks für zukünftige Generationen wie Vera Rubin zu unterstützen. Durch die gemeinsame Auslegung von Rechenleistung, Netzwerk und Kühlsystem zielt die Plattform darauf ab, Infrastrukturengpässe zu lösen, die typischerweise den Bau neuer Leitungen verzögern. Dieser ganzheitliche Ansatz stellt sicher, dass KI-Fabriken zu steuerbaren Ressourcen werden, die harmonisch mit dem elektrischen Netz zusammenarbeiten. Letztlich soll die Technologie mehr nutzbare Rechenleistung aus jedem verbrauchten Megawatt liefern.
nvidia