Дефицит GPU в вашей собственной инфраструктуре: почему задачи ИИ стоят в очереди, пока мощности простаивают
ainews ·
В статье объясняется, почему задачи искусственного интеллекта часто стоят в очереди, несмотря на то что системы мониторинга показывают низкую загрузку GPU: метрики вычислительной активности не отражают доступную емкость. По умолчанию Kubernetes использует эксклюзивное распределение ресурсов, из-за чего одна задача, занимающая устройство, блокирует все остальные, независимо от того, насколько мало кремния она активно использует. В тексте выделяются четыре основные причины этого явления: эксклюзивное удержание устройств, занятость видеопамяти (VRAM) загруженными моделями, ограничения правил размещения и узкие места на уровне приложений, такие как задержки процессора или ввода-вывода. Рассматриваются три метода разделения ресурсов GPU — временное разделение (time-slicing), Multi-Instance GPU (MIG) и Multi-Process Service (MPS) — с акцентом на их различные компромиссы в области изоляции памяти, требований к оборудованию и наблюдаемости. Предлагается диагностическая последовательность для определения того, вызвана ли проблема распределением ресурсов, памятью, правилами размещения или внешними зависимостями, прежде чем принимать решение о покупке нового оборудования. В статье приводится отчет Cast AI, согласно которому средняя загрузка GPU во всем парке составляет всего 5%, подчеркивая, что большая часть кажущейся свободной емкости фактически уже распределена. Наконец, приводится пример компании ALLEN Digital, которая снизила затраты на 71% за счет перехода от выделенных инстансов к конфигурациям с разделенными GPU с использованием инструментов автоматизации.
ainews