Déployer des modèles Hugging Face sur Amazon SageMaker AI avec des agents de programmation
aws ·
Cet article d’AWS explique comment des agents de programmation peuvent déployer des modèles Hugging Face sur Amazon SageMaker AI à l’aide de six compétences open source du dépôt Hugging Face Skills. Sans ces compétences, des agents tels que Kiro et Claude Code sélectionnaient pour Qwen3 un conteneur Text Generation Inference incompatible ou obsolète, ce qui entraînait des échecs de déploiement et des frais GPU inutiles. Les compétences guident les agents dans la découverte du contexte AWS, la configuration d’un environnement Python pris en charge, la vérification du rôle IAM, la sélection de l’image de service dans le catalogue AWS Deep Learning Containers et le déploiement avec des paramètres par défaut adaptés à la production. Ces paramètres comprennent la mise à l’échelle automatique, trois alarmes Amazon CloudWatch, un test de bon fonctionnement, la journalisation et une procédure de suppression vérifiée. L’exemple déploie Qwen/Qwen3-0.6B sur un point de terminaison en temps réel, tandis que les compétences prennent également en charge les déploiements avec mise à l’échelle jusqu’à zéro, sans serveur, asynchrones, par lots et l’importation de modèles personnalisés dans Amazon Bedrock. Les compétences utilisent Python et l’AWS CLI, fonctionnent sur macOS, Linux et Windows, et nécessitent une version de Python prise en charge ainsi que les autorisations requises sur un compte AWS. L’article précise également que les points de terminaison en temps réel continuent d’engendrer des frais d’instance jusqu’à leur suppression.
aws