AI基础设施峰会:NVIDIA Vera Rubin和DSX平台展示优化AI工厂瓦特每令牌能效的进展
nvidia ·
在AI基础设施峰会上,英伟达强调了AI工厂能效方面的进展,将行业指标从峰值性能转向每兆瓦代理令牌数。Ian Buck宣布与亚马逊Annapurna Labs和d-Matrix等合作伙伴合作,整合定制内存和NVLink Fusion技术。Lambda展示了使用英伟达DSX MaxLPS实现每瓦性能提升23%,从而在相同功耗预算内部署更多节点。Emerald AI与硅谷电力公司展示了灵活负载计划,使AI设施能够根据电网信号动态调整能耗。全新的Vera Rubin NVL72平台相比上一代提供高达30倍的每兆瓦吞吐量,显著降低了代理工作负载的成本。此外,初创企业报告称,使用英伟达Vera CPU在安全沙箱和分析数据库中取得了显著收益。这些发展凸显了英伟达专注于从芯片到电网的协同设计,以最大化生产力和经济价值。
nvidia