Partage et emprunt de ressources entre équipes grâce à la gestion des quotas d'AWS Batch pour les travaux d'entraînement SageMaker
aws ·
AWS a introduit la gestion des quotas pour AWS Batch afin de prendre en charge les tâches d'entraînement Amazon SageMaker, permettant aux organisations de mieux coordonner la capacité GPU partagée entre plusieurs équipes. Cette nouvelle fonctionnalité d'ordonnancement permet aux administrateurs de définir des parts de quota pour des équipes ou projets spécifiques, en utilisant des stratégies telles que le prêt, l'emprunt ou la réservation de ressources informatiques inutilisées. Le système gère automatiquement la préemption inter-quota pour récupérer les capacités prêtées lorsque l'équipe prêteuse a besoin de ses ressources, garantissant ainsi que les charges de travail prioritaires ne soient pas retardées. De plus, la préemption intra-quota permet aux tâches de priorité plus élevée au sein d'une même part de quota d'interronpre les tâches en cours de priorité inférieure si nécessaire. Les administrateurs peuvent configurer ces paramètres à l'aide du SDK Python SageMaker, qui inclut désormais un module aws_batch pour la soumission programmatique des tâches. L'article démontre comment différentes configurations, telles que LEND_AND_BORROW versus RESERVE, répondent à des priorités de charge de travail et à des tolérances variables face aux interruptions. En automatisant l'allocation des ressources et la priorisation, cette fonctionnalité contribue à augmenter l'utilisation des capacités informatiques tout en réduisant la charge opérationnelle pour les administrateurs d'infrastructure.
aws