Развертывание моделей Hugging Face в Amazon SageMaker AI с помощью программных агентов
aws ·
В этой публикации AWS объясняется, как агенты для написания кода могут развертывать модели Hugging Face в Amazon SageMaker AI с помощью шести навыков с открытым исходным кодом из репозитория Hugging Face Skills. Без этих навыков такие агенты, как Kiro и Claude Code, выбирали несовместимый или устаревший контейнер Text Generation Inference для Qwen3, что приводило к неудачным развертываниям и неоправданным расходам на GPU. Навыки помогают агентам определить контекст AWS, настроить поддерживаемую среду Python, проверить роль IAM, выбрать образ для обслуживания моделей из каталога AWS Deep Learning Containers и выполнить развертывание с производственными настройками по умолчанию. Эти настройки включают автомасштабирование, три оповещения Amazon CloudWatch, дымовое тестирование, ведение журналов и проверенный процесс удаления ресурсов. В примере Qwen/Qwen3-0.6B разворачивается в конечной точке реального времени; кроме того, навыки поддерживают развертывания с масштабированием до нуля, бессерверные, асинхронные и пакетные развертывания, а также развертывания с использованием Amazon Bedrock Custom Model Import. Навыки используют Python и AWS CLI, работают в macOS, Linux и Windows и требуют поддерживаемой версии Python и соответствующих разрешений учетной записи AWS. В публикации также отмечается, что конечные точки реального времени продолжают облагаться платой за экземпляры, пока их не удалят.
aws