Implantar modelos do Hugging Face no Amazon SageMaker AI com agentes de programação
aws ·
Esta publicação da AWS explica como agentes de programação podem implantar modelos da Hugging Face no Amazon SageMaker AI usando seis habilidades de código aberto do repositório Hugging Face Skills. Sem essas habilidades, agentes como o Kiro e o Claude Code selecionaram um contêiner incompatível ou desatualizado do Text Generation Inference para o Qwen3, o que causou falhas nas implantações e cobranças desnecessárias de GPU. As habilidades orientam os agentes na descoberta do contexto da AWS, na configuração de um ambiente Python compatível, na verificação da função do IAM, na seleção da imagem de serviço no catálogo AWS Deep Learning Containers e na implantação com configurações padrão para produção. Essas configurações incluem escalabilidade automática, três alarmes do Amazon CloudWatch, testes de verificação, registro em log e um processo de desmontagem verificado. O exemplo implanta o Qwen/Qwen3-0.6B em um endpoint em tempo real, enquanto as habilidades também são compatíveis com implantações com escala para zero, sem servidor, assíncronas, em lote e de importação de modelos personalizados do Amazon Bedrock. As habilidades usam Python e a AWS CLI, funcionam no macOS, Linux e Windows e exigem uma versão compatível do Python e permissões na conta da AWS. A publicação também observa que os endpoints em tempo real continuam gerando cobranças pela instância até serem excluídos.
aws