A escassez de GPU na sua própria infraestrutura: por que as cargas de trabalho de IA ficam em fila enquanto a capacidade fica ociosa
ainews ·
Este artigo explica por que as cargas de trabalho de IA frequentemente ficam em fila apesar dos sistemas de monitoramento indicarem baixa utilização de GPUs, esclarecendo que as métricas de atividade de computação não refletem a capacidade disponível. O Kubernetes utiliza, por padrão, alocação exclusiva, o que significa que uma única carga de trabalho que ocupa um dispositivo bloqueia todas as outras, independentemente da quantidade mínima de silício que ela utiliza ativamente. O texto identifica quatro causas principais para esse fenômeno: retenção exclusiva do dispositivo, ocupação de VRAM por modelos carregados, restrições nas regras de posicionamento e gargalos na camada de aplicação, como atrasos de CPU ou E/S. São comparados três métodos de compartilhamento de GPU — time-slicing, Multi-Instance GPU (MIG) e Multi-Process Service (MPS) — destacando suas distintas compensações em termos de isolamento de memória, requisitos de hardware e observabilidade. É apresentada uma sequência de diagnóstico para ajudar as equipes a identificar se o problema decorre de alocação, memória, posicionamento ou dependências externas antes de adquirir novo hardware. O artigo cita um relatório da Cast AI que aponta uma utilização média de GPUs em toda a frota de apenas 5%, enfatizando que a maior parte da capacidade aparentemente ociosa está realmente alocada, e não livre. Por fim, é apresentado um estudo de caso no qual a ALLEN Digital reduziu os custos em 71% ao migrar de instâncias dedicadas para configurações de GPU compartilhadas usando ferramentas de automação.
ainews