你自身基础设施中的GPU短缺：为何AI工作负载排队而容量闲置
ainews ·
本文解释了为何在监控系统显示 GPU 利用率较低的情况下，AI 工作负载仍会排队。文章澄清，计算活动指标并不能反映可用容量。Kubernetes 默认采用独占式分配，这意味着即使某个工作负载实际使用的硅片资源极少，只要它持有一个设备，就会阻止其他所有工作负载使用。文中指出了导致这一现象的四个主要原因：独占式设备持有、加载模型占用的显存（VRAM）、放置规则限制，以及 CPU 或 I/O 延迟等应用层瓶颈。文章对比了三种 GPU 共享方法——时间切片（time-slicing）、多实例 GPU（MIG）和多进程服务（MPS），并强调了它们在内存隔离、硬件要求和可观测性方面的不同权衡。此外，文章提供了一套诊断流程，帮助团队在购买新硬件之前确定问题是否源于分配、内存、放置或外部依赖。文章引用 Cast AI 的报告指出，整个集群的平均 GPU 利用率仅为 5%，强调大多数看似闲置的容量实际上已被分配而非空闲。最后，文章通过一个案例研究说明，ALLEN Digital 通过使用自动化工具从专用实例转向共享 GPU 配置，将成本降低了 71%。
ainews