Hugging-Face-Modelle mit Coding-Agenten auf Amazon SageMaker AI bereitstellen
aws ·
Dieser AWS-Beitrag erklärt, wie Coding-Agenten mithilfe von sechs Open-Source-Skills aus dem Repository Hugging Face Skills Hugging-Face-Modelle auf Amazon SageMaker AI bereitstellen können. Ohne diese Skills wählten Agenten wie Kiro und Claude Code für Qwen3 einen inkompatiblen oder veralteten Text-Generation-Inference-Container aus, was zu fehlgeschlagenen Bereitstellungen und unnötigen GPU-Kosten führte. Die Skills führen die Agenten durch die Ermittlung des AWS-Kontexts, die Einrichtung einer unterstützten Python-Umgebung, die Überprüfung der IAM-Rolle, die Auswahl eines Serving-Images aus dem Katalog der AWS Deep Learning Containers sowie die Bereitstellung mit produktionsgeeigneten Standardeinstellungen. Zu diesen Standardeinstellungen gehören Auto Scaling, drei Amazon-CloudWatch-Alarme, Smoke-Tests, Protokollierung und ein verifizierter Prozess zum vollständigen Abbau der Bereitstellung. Im Beispiel wird Qwen/Qwen3-0.6B an einem Echtzeit-Endpunkt bereitgestellt; die Skills unterstützen außerdem Scale-to-zero-, serverlose, asynchrone und Batch-Bereitstellungen sowie Bereitstellungen über den Amazon Bedrock Custom Model Import. Die Skills verwenden Python und die AWS CLI, funktionieren unter macOS, Linux und Windows und erfordern eine unterstützte Python-Version sowie die entsprechenden Berechtigungen für ein AWS-Konto. Der Beitrag weist außerdem darauf hin, dass für Echtzeit-Endpunkte weiterhin Gebühren für die Instanzen anfallen, bis diese gelöscht werden.
aws