La carenza di GPU nella tua infrastruttura: perché i carichi di lavoro AI si accodano mentre la capacità resta inattiva
ainews ·
Questo articolo spiega perché i carichi di lavoro AI spesso accodano nonostante i sistemi di monitoraggio mostrino un basso utilizzo delle GPU, chiarendo che le metriche di attività di calcolo non indicano la capacità disponibile. Kubernetes utilizza per impostazione predefinita un'allocazione esclusiva, il che significa che un singolo carico di lavoro che detiene un dispositivo blocca tutti gli altri, indipendentemente da quanto poco silicio utilizzi attivamente. Il testo identifica quattro cause principali di questo fenomeno: la detenzione esclusiva del dispositivo, l'occupazione della VRAM da parte dei modelli caricati, i vincoli delle regole di posizionamento e i colli di bottiglia a livello di applicazione, come ritardi della CPU o dell'I/O. Vengono confrontati tre metodi di condivisione delle GPU—time-slicing, Multi-Instance GPU (MIG) e Multi-Process Service (MPS)—evidenziando i relativi compromessi in termini di isolamento della memoria, requisiti hardware e osservabilità. Viene fornita una sequenza diagnostica per aiutare i team a identificare se il problema deriva da allocazione, memoria, posizionamento o dipendenze esterne prima di acquistare nuovo hardware. L'articolo cita un rapporto di Cast AI che segnala un'utilizzo medio delle GPU su tutta la flotta pari al solo 5%, sottolineando che la maggior parte della capacità apparentemente inattiva è effettivamente allocata piuttosto che libera. Infine, viene presentato uno studio caso in cui ALLEN Digital ha ridotto i costi del 71% passando da istanze dedicate a configurazioni GPU condivise utilizzando strumenti di automazione.
ainews