Plus de performances par octet : comment le co-conception full-stack résout le défi de la mémoire de l'IA
nvidia ·
NVIDIA répond à la pression croissante sur la mémoire dans l'inférence IA grâce à une conception intégrée (full-stack codesign) qui associe GPU, CPU, réseau et logiciels pour optimiser les performances. À mesure que les modèles deviennent plus volumineux et que les applications agentic nécessitent davantage de contexte, la mémoire haute bande passante (HBM) des GPU subit une forte contrainte due aux poids des modèles et au cache KV. Plutôt que de se contenter d'augmenter la capacité HBM, NVIDIA utilise des techniques telles que la précision NVFP4 pour réduire l'emprise des données et répartir les poids sur les domaines NVL72. L'entreprise emploie également le logiciel NVIDIA Dynamo pour décharger le contexte inactif vers des niveaux de stockage moins coûteux, tout en conservant les données actives dans une mémoire plus rapide. Cette approche hiérarchique garantit que la HBM, coûteuse, est réservée aux calculs critiques, améliorant ainsi considérablement l'efficacité. Par conséquent, de nouvelles plateformes comme Vera Rubin affichent jusqu'à un gain de 30 fois du débit agentic par dollar par rapport aux générations précédentes, malgré des progrès marginaux de la capacité brute HBM. Cette stratégie permet aux usines d'IA de fournir davantage de jetons utiles dans les limites budgétaires énergétiques tout en réduisant les coûts.
nvidia