Agendamento de alto impacto para clusters de GPU
huggingface ·
O Allen Institute for AI (Ai2) substituiu seu escalonador de GPUs baseado em prioridades por um sistema orientado a orçamentos para enfrentar a escassez de recursos e ineficiências como 'ocupações indevidas' e inflação de prioridades. Ao alocar tempo de GPU por meio de orçamentos hierárquicos de compartilhamento justo, o instituto transferiu a tomada de decisões das negociações operacionais para o planejamento administrativo transparente. O novo escalonador incorpora um 'contrato de escalonamento' que exige que as cargas de trabalho declarem tempos mínimos de execução, permitindo pré-emptão automática e reagendamento assim que o progresso é garantido. Simulações previram melhorias significativas na latência da fila, o que foi validado durante a implementação em produção, onde os tempos de espera para cargas de trabalho de depuração caíram de horas para segundos. As métricas operacionais mostraram que as equipes receberam 98% das horas de GPU alocadas, mantendo uma ocupação do cluster de 98%. Além disso, o tratamento automatizado de trabalhos pré-emptos reduziu em 74% as tarefas de manutenção que exigiam intervenção humana. Apesar desses sucessos, a equipe identificou desafios relacionados à preservação do estado de sessões interativas e à possível fragmentação de capacidade para cargas de trabalho grandes. Os esforços futuros focarão na otimização da utilização e no suporte a sessões de desenvolvimento por meio de clusters de CPU dedicados.
huggingface