Des Mégawatts aux Jetons : Comment NVIDIA Maximise la Production des Usines d'IA
nvidia ·
NVIDIA a lancé sa plateforme DSX pour optimiser la production des usines d'IA en maximisant le débit de tokens dans des budgets énergétiques fixes. Les déploiements préliminaires montrent qu'une gestion intelligente des charges de travail peut augmenter le débit de tokens à l'échelle du cluster de 24 % sans accroître la consommation d'énergie. Le système permet aux data centers de répondre automatiquement aux signaux du réseau électrique, réduisant la demande de puissance lors des périodes de pointe tout en maintenant les tâches critiques à haute priorité. Lambda Cloud a validé ces capacités, mettant en évidence des améliorations significatives des performances par watt avec les serveurs GPU NVIDIA HGX B200. Par ailleurs, NVIDIA développe une architecture d'alimentation en courant continu 800 V afin d'améliorer davantage l'efficacité et de soutenir des baies informatiques plus denses pour les futures générations telles que Vera Rubin. En co-concevant les systèmes de calcul, de réseau et de refroidissement, la plateforme vise à résoudre les goulots d'étranglement infrastructurels qui retardent généralement la construction de nouvelles lignes de transmission. Cette approche globale garantit que les usines d'IA deviennent des ressources pilotables, fonctionnant en harmonie avec le réseau électrique. En définitive, cette technologie cherche à fournir davantage de puissance de calcul utile pour chaque mégawatt consommé.
nvidia