De Megawatts a Tokens: Como a NVIDIA Maximiza a Produção de Fábricas de IA
nvidia ·
A NVIDIA apresentou sua plataforma DSX para otimizar a produção em fábricas de IA, maximizando o throughput de tokens dentro de orçamentos fixos de energia. Implantações iniciais demonstram que o gerenciamento inteligente de cargas de trabalho pode aumentar o throughput de tokens em todo o cluster em 24% sem expandir o consumo de energia. O sistema permite que os data centers respondam automaticamente aos sinais da rede elétrica, reduzindo a demanda de potência nos horários de pico enquanto mantém trabalhos críticos de alta prioridade. A Lambda Cloud validou essas capacidades, mostrando melhorias significativas no desempenho por watt usando servidores GPU NVIDIA HGX B200. Além disso, a NVIDIA está desenvolvendo uma arquitetura de alimentação CC de 800V para melhorar ainda mais a eficiência e suportar racks de computação mais densos para gerações futuras, como a Vera Rubin. Ao co-projetar sistemas de computação, rede e resfriamento, a plataforma visa resolver gargalos de infraestrutura que normalmente atrasam a construção de novas linhas de transmissão. Essa abordagem holística garante que as fábricas de IA se tornem recursos despacháveis que funcionem harmoniosamente com a rede elétrica. Em última análise, a tecnologia busca entregar mais trabalho de computação útil por cada megawatt consumido.
nvidia