从兆瓦到Token:英伟达如何最大化AI工厂产能
nvidia ·
英伟达推出了DSX平台,旨在通过最大化固定功耗预算内的令牌吞吐量来优化AI工厂的生产效率。早期部署表明,智能工作负载管理能够在不增加能耗的情况下,将集群整体的令牌吞吐量提高24%。该系统使数据中心能够自动响应电网信号,在高峰时段降低电力需求,同时维持关键的高优先级任务。Lambda Cloud验证了这些能力,显示使用英伟达HGX B200 GPU服务器在每瓦性能方面取得了显著提升。此外,英伟达正在开发800V直流电源架构,以进一步提高效率并支持未来产品系列(如Vera Rubin)更密集的算力机架。通过协同设计计算、网络和冷却系统,该平台旨在解决通常导致新输电线路建设延迟的基础设施瓶颈。这种整体方法确保AI工厂成为可与电网和谐运作的可调度资源。最终,该技术力求从每一兆瓦的消耗中提供更有效的算力产出。
nvidia