Mais desempenho por cada byte: como o codesign de pilha completa resolve o desafio de memória da IA
nvidia ·
A NVIDIA aborda a crescente pressão de memória na inferência de IA por meio do codesign full-stack, que integra GPUs, CPUs, redes e software para otimizar o desempenho. À medida que os modelos ficam maiores e as aplicações agênticas exigem mais contexto, a memória HBM (High-Bandwidth Memory) das GPUs enfrenta uma tensão significativa devido aos pesos dos modelos e ao cache KV. Em vez de simplesmente aumentar a capacidade da HBM, a NVIDIA utiliza técnicas como a precisão NVFP4 para reduzir o tamanho dos dados e distribuir os pesos entre domínios NVL72. A empresa também emprega o software NVIDIA Dynamo para descarregar o contexto inativo para camadas de armazenamento de menor custo, mantendo os dados ativos em memórias mais rápidas. Essa abordagem hierárquica garante que a HBM cara seja reservada para cálculos críticos, melhorando significativamente a eficiência. Como resultado, plataformas mais recentes, como a Vera Rubin, demonstram um aumento de até 30 vezes no throughput agêntico por dólar em comparação com gerações anteriores, apesar de ganhos marginais na capacidade bruta de HBM. Essa estratégia permite que as fábricas de IA entreguem mais tokens úteis dentro dos limites de energia, reduzindo os custos.
nvidia