Générer des images et des vidéos avec vLLM-Omni sur SageMaker AI – Partie 2
aws ·
Cet article montre comment générer des images et les animer en vidéos à l'aide de vLLM-Omni sur Amazon SageMaker AI. Le déploiement s'appuie sur deux points de terminaison issus d'un seul conteneur AWS Deep Learning : un point de terminaison en temps réel pour le modèle d'image FLUX.2-klein-4B et un point de terminaison asynchrone pour le modèle vidéo Wan2.1-VACE-1.3B. Les utilisateurs fournissent une invite textuelle pour créer une image fixe, qui est ensuite transmise avec une invite de mouvement afin de générer une courte vidéo MP4. La solution utilise Amazon S3 pour gérer les charges utiles multipartites plus volumineuses requises pour la génération de vidéos via l'inférence asynchrone. Une interface en ligne de commande et une application Streamlit sont fournies pour faciliter ce processus de bout en bout. Les auteurs soulignent que la séparation des tâches d'image et de vidéo permet à chaque modèle d'utiliser le type d'instance et le mode d'inférence optimaux adaptés à ses exigences spécifiques en matière de latence et de charge utile.
aws