Эффективное планирование для GPU-кластеров
huggingface ·
Институт искусственного интеллекта имени Аллена (Ai2) заменил свой планировщик GPU на основе приоритетов на систему, управляемую бюджетами, чтобы решить проблемы нехватки ресурсов и неэффективности, таких как «захват» ресурсов и раздувание приоритетов. Распределяя время работы GPU через иерархические бюджеты справедливого распределения, институт перенес принятие решений из сферы операционных переговоров в область прозрачного административного планирования. Новый планировщик включает «контракт на планирование», который требует от рабочих нагрузок декларирования минимального времени выполнения, что позволяет автоматически прерывать задачи и помещать их в очередь после обеспечения прогресса. Симуляции предсказали значительное улучшение задержек в очередях, что было подтверждено при развертывании в производственной среде: время ожидания отладочных задач сократилось с часов до секунд. Операционные метрики показали, что команды получили 98% выделенных им часов работы GPU, сохраняя при этом заполненность кластера на уровне 98%. Кроме того, автоматизированная обработка прерванных задач сократила количество ручных операций поддержки на 74%. Несмотря на эти успехи, команда выявила проблемы, связанные с сохранением состояния интерактивных сеансов и потенциальной фрагментацией емкости для крупных рабочих нагрузок. Будущие усилия будут направлены на оптимизацию использования ресурсов и поддержку сеансов разработки через выделенные CPU-кластеры.
huggingface