Más rendimiento por cada byte: cómo el diseño de código completo resuelve el desafío de memoria de la IA
nvidia ·
NVIDIA aborda la creciente presión de memoria en la inferencia de IA mediante un diseño integrado de pila completa, que combina GPUs, CPUs, redes y software para optimizar el rendimiento. A medida que los modelos se vuelven más grandes y las aplicaciones agénticas requieren más contexto, la memoria de alto ancho de banda (HBM) de las GPUs enfrenta una tensión significativa debido a los pesos del modelo y al caché KV. En lugar de simplemente aumentar la capacidad de HBM, NVIDIA utiliza técnicas como la precisión NVFP4 para reducir las huellas de datos y distribuir los pesos entre dominios NVL72. La compañía también emplea el software NVIDIA Dynamo para descargar el contexto inactivo a niveles de almacenamiento de menor costo mientras mantiene los datos activos en memorias más rápidas. Este enfoque jerárquico asegura que la costosa HBM se reserve para cálculos críticos, mejorando significativamente la eficiencia. Como resultado, plataformas más recientes como Vera Rubin demuestran un aumento de hasta 30 veces en el rendimiento agéntico por dólar en comparación con generaciones anteriores, a pesar de solo ganancias marginales en la capacidad bruta de HBM. Esta estrategia permite que las fábricas de IA entreguen más tokens útiles dentro de los límites de potencia mientras reducen los costos.
nvidia