Vera Rubin e DSX da NVIDIA mostram eficiências energéticas ao otimizar tokens por watt em fábricas de IA
nvidia ·
No AI Infra Summit, a NVIDIA destacou avanços na eficiência energética para fábricas de IA, mudando a métrica da indústria do pico de desempenho para tokens agênticos por megawatt. Ian Buck anunciou colaborações com parceiros como a Annapurna Labs da Amazon e a d-Matrix para integrar tecnologias de memória personalizada e NVLink Fusion. A Lambda demonstrou uma melhoria de 23% no desempenho por watt usando o DSX MaxLPS da NVIDIA, permitindo mais nós dentro do mesmo orçamento de energia. A Emerald AI apresentou um programa de carga flexível com a Silicon Valley Power, permitindo que instalações de IA ajustem dinamicamente o consumo de energia com base nos sinais da rede elétrica. A nova plataforma Vera Rubin NVL72 oferece até 30 vezes mais throughput por megawatt em comparação às gerações anteriores, reduzindo significativamente os custos para cargas de trabalho agênticas. Além disso, startups relataram ganhos substanciais ao usar a CPU Vera da NVIDIA para sandboxing seguro e bancos de dados analíticos. Esses desenvolvimentos reforçam o foco da NVIDIA no codesign de silício até a rede elétrica para maximizar a produtividade e o valor econômico.
nvidia