Programación impactante para clústeres de GPU
huggingface ·
El Instituto Allen para la IA (Ai2) reemplazó su programador de GPU basado en prioridades por un sistema impulsado por presupuestos para abordar la escasez de recursos y ineficiencias como el 'acaparamiento' y la inflación de prioridades. Al asignar tiempo de GPU mediante presupuestos jerárquicos de participación justa, el instituto trasladó la toma de decisiones de negociaciones operativas a una planificación administrativa transparente. El nuevo programador incorpora un 'contrato de programación' que exige que las cargas de trabajo declaren tiempos de ejecución mínimos, lo que permite la preemoción automática y la reintroducción en cola una vez asegurados los avances. Las simulaciones predijeron mejoras significativas en la latencia de la cola, las cuales se validaron durante el lanzamiento en producción, donde los tiempos de espera de las cargas de trabajo de depuración disminuyeron de horas a segundos. Las métricas operativas mostraron que los equipos recibieron el 98% de sus horas de GPU asignadas mientras mantenían una ocupación del clúster del 98%. Además, el manejo automatizado de trabajos preemptivos redujo las tareas de mantenimiento con intervención humana en un 74%. A pesar de estos éxitos, el equipo identificó desafíos relacionados con la preservación del estado de las sesiones interactivas y la posible fragmentación de capacidad para cargas de trabajo grandes. Los esfuerzos futuros se centrarán en optimizar la utilización y apoyar las sesiones de desarrollo mediante clústeres de CPU dedicados.
huggingface