La escasez de GPU en tu propia infraestructura: por qué las cargas de trabajo de IA se colorean mientras la capacidad permanece inactiva
ainews ·
Este artículo explica por qué las cargas de trabajo de IA suelen formar colas a pesar de que los sistemas de monitoreo muestran una baja utilización de GPU, aclarando que las métricas de actividad de cómputo no indican capacidad disponible. Kubernetes utiliza de forma predeterminada una asignación exclusiva, lo que significa que una sola carga de trabajo que retiene un dispositivo bloquea a todas las demás, independientemente de cuánto silicio utilice activamente. El texto identifica cuatro causas principales de este fenómeno: la retención exclusiva del dispositivo, la ocupación de VRAM por modelos cargados, restricciones en las reglas de colocación y cuellos de botella a nivel de aplicación, como retrasos de CPU o E/S. Compara tres métodos de compartición de GPU: time-slicing, Multi-Instance GPU (MIG) y Multi-Process Service (MPS), destacando sus distintos compromisos en cuanto a aislamiento de memoria, requisitos de hardware y observabilidad. Se proporciona una secuencia de diagnóstico para ayudar a los equipos a identificar si el problema radica en la asignación, la memoria, la colocación o dependencias externas antes de adquirir nuevo hardware. El artículo cita un informe de Cast AI que señala una utilización promedio de GPU en toda la flota de apenas el 5%, enfatizando que la mayor parte de la capacidad que parece inactiva está realmente asignada y no es libre. Finalmente, presenta un caso de estudio donde ALLEN Digital redujo los costos en un 71% al pasar de instancias dedicadas a configuraciones de GPU compartidas mediante herramientas de automatización.
ainews