Préstamo y uso de recursos entre equipos con la gestión de cuotas de AWS Batch para trabajos de entrenamiento de SageMaker
aws ·
AWS ha introducido la gestión de cuotas para AWS Batch con el fin de admitir los trabajos de entrenamiento de Amazon SageMaker, lo que permite a las organizaciones coordinar mejor la capacidad compartida de GPU entre múltiples equipos. Esta nueva capacidad de programación permite a los administradores definir cuotas específicas para determinados equipos o proyectos, utilizando estrategias como prestar, tomar prestado o reservar recursos informáticos ociosos. El sistema gestiona automáticamente la preemoción entre cuotas para recuperar la capacidad prestada cuando el equipo que la cede necesita sus recursos, asegurando que las cargas de trabajo prioritarias no se retrasen. Además, la preemoción dentro de la cuota permite que los trabajos de mayor prioridad dentro de la misma cuota interrumpan a los trabajos en ejecución de menor prioridad si es necesario. Los administradores pueden configurar estos ajustes mediante el SDK de Python de SageMaker, que ahora incluye un módulo aws_batch para la presentación programática de trabajos. El artículo demuestra cómo diferentes configuraciones, como LEND_AND_BORROW frente a RESERVE, se adaptan a distintas prioridades de carga de trabajo y tolerancias a las interrupciones. Al automatizar la asignación de recursos y la priorización, esta función ayuda a aumentar la utilización de los recursos informáticos mientras reduce la sobrecarga operativa para los administradores de infraestructura.
aws