每字节更多性能：全栈协同设计如何解决AI的内存挑战
nvidia ·
英伟达通过全栈协同设计解决AI推理中日益严峻的内存压力，该技术将GPU、CPU、网络和软件整合以优化性能。随着模型规模扩大以及智能体应用需要更多上下文，GPU的高带宽内存（HBM）因承载模型权重和KV缓存而面临巨大压力。英伟达并未单纯增加HBM容量，而是采用NVFP4精度等技术缩小数据 footprint，并将权重分布在NVL72域中。同时，公司利用NVIDIA Dynamo软件将非活跃上下文卸载至低成本存储层，而将活跃数据保留在高速内存中。这种分层方法确保昂贵的HBM仅用于关键计算，显著提升了效率。因此，尽管HBM容量仅有微小提升，但像Vera Rubin这样的新平台相比前代产品，每美元的智能体吞吐量提高了多达30倍。这一策略使AI工厂能够在功耗预算内交付更多有效token，同时降低成本。
nvidia