Più prestazioni da ogni byte: come il codesign full-stack risolve la sfida della memoria nell'IA
nvidia ·
NVIDIA affronta la crescente pressione sulla memoria nell'inferenza AI attraverso un codesign full-stack, che integra GPU, CPU, networking e software per ottimizzare le prestazioni. Con l'aumento delle dimensioni dei modelli e la necessità di contesti più ampi per le applicazioni agentiche, la memoria HBM (High-Bandwidth Memory) delle GPU subisce un forte stress a causa dei pesi dei modelli e del cache KV. Invece di limitarsi ad aumentare la capacità dell'HBM, NVIDIA utilizza tecniche come la precisione NVFP4 per ridurre l'impronta dei dati e distribuire i pesi sui domini NVL72. L'azienda impiega inoltre il software NVIDIA Dynamo per spostare il contesto inattivo su livelli di storage a costo inferiore, mantenendo i dati attivi nella memoria più veloce. Questo approccio gerarchico garantisce che l'HBM, costosa, sia riservata ai calcoli critici, migliorando significativamente l'efficienza. Di conseguenza, piattaforme più recenti come Vera Rubin mostrano un aumento fino a 30 volte nel throughput agentico per dollaro rispetto alle generazioni precedenti, nonostante guadagni marginali nella capacità grezza dell'HBM. Questa strategia consente alle fabbriche di AI di fornire più token utili entro i limiti di potenza, riducendo al contempo i costi.
nvidia