Da Megawatt a Token: Come NVIDIA Massimizza la Produzione delle Fabbriche IA
nvidia ·
NVIDIA ha presentato la sua piattaforma DSX per ottimizzare la produzione nelle 'fabbriche di intelligenza artificiale', massimizzando il throughput dei token all'interno di budget energetici fissi. Le prime implementazioni dimostrano che una gestione intelligente del carico di lavoro può aumentare il throughput di token su tutto il cluster del 24% senza espandere i consumi energetici. Il sistema consente ai data center di rispondere automaticamente ai segnali della rete elettrica, riducendo la domanda di potenza durante i picchi di utilizzo e mantenendo inalterati i lavori critici ad alta priorità. Lambda Cloud ha convalidato queste capacità, evidenziando miglioramenti significativi nelle prestazioni per watt utilizzando server GPU NVIDIA HGX B200. Inoltre, NVIDIA sta sviluppando un'architettura di alimentazione in corrente continua a 800V per migliorare ulteriormente l'efficienza e supportare rack di calcolo più densi per le generazioni future, come Vera Rubin. Progettando congiuntamente sistemi di calcolo, networking e raffreddamento, la piattaforma mira a risolvere i colli di bottiglia infrastrutturali che tipicamente ritardano la costruzione di nuove linee di trasmissione. Questo approccio olistico garantisce che le fabbriche di IA diventino risorse dispacciabili in grado di interagire armoniosamente con la rete elettrica. In definitiva, la tecnologia cerca di fornire più lavoro di calcolo utile da ogni megawatt consumato.
nvidia