面向GPU集群的高效调度
huggingface ·
人工智能研究所（Ai2）用基于预算的系统取代了原有的基于优先级的GPU调度器，以解决资源稀缺以及“占用不释放”和优先级膨胀等低效问题。通过分层公平共享预算分配GPU时间，该研究所将决策方式从运营层面的协商转变为透明的行政规划。新调度器引入了“调度合同”，要求工作负载声明最低运行时长，从而在确保进度后实现自动抢占和重新排队。模拟预测队列延迟将显著改善，在生产部署中得到了验证：调试工作负载的等待时间从数小时缩短至数秒。运营指标显示，团队获得了98%的已分配GPU工时，同时集群占用率保持在98%。此外，对抢占作业的自动化处理使人工维护任务减少了74%。尽管取得了这些成功，团队仍指出了交互式会话状态保留方面的挑战，以及大型工作负载可能面临的容量碎片化问题。未来的工作将侧重于优化利用率，并通过专用的CPU集群支持开发会话。
huggingface