Distribuire modelli Hugging Face su Amazon SageMaker AI con agenti di coding
aws ·
Questo post di AWS spiega come gli agenti di programmazione possano distribuire modelli Hugging Face su Amazon SageMaker AI utilizzando sei skill open source del repository Hugging Face Skills. In assenza di queste skill, agenti come Kiro e Claude Code selezionavano un container di Text Generation Inference incompatibile o obsoleto per Qwen3, causando distribuzioni non riuscite e costi GPU superflui. Le skill guidano gli agenti nella rilevazione del contesto AWS, nella configurazione di un ambiente Python supportato, nella verifica del ruolo IAM, nella selezione dell’immagine di serving dal catalogo AWS Deep Learning Containers e nella distribuzione con impostazioni predefinite per la produzione. Queste impostazioni includono l’autoscaling, tre allarmi Amazon CloudWatch, smoke test, registrazione dei log e una procedura di teardown verificata. L’esempio distribuisce Qwen/Qwen3-0.6B su un endpoint in tempo reale, mentre le skill supportano anche distribuzioni scale-to-zero, serverless, asincrone, batch e Amazon Bedrock Custom Model Import. Le skill utilizzano Python e la AWS CLI, funzionano su macOS, Linux e Windows e richiedono una versione di Python supportata e le autorizzazioni necessarie per l’account AWS. Il post ricorda inoltre che gli endpoint in tempo reale continuano a generare costi per le istanze finché non vengono eliminati.
aws