Generar imágenes y video con vLLM-Omni en SageMaker AI – Parte 2
aws ·
Este artículo demuestra cómo generar imágenes y animarlas en videos utilizando vLLM-Omni en Amazon SageMaker AI. El flujo de trabajo implementa dos puntos finales desde un único contenedor de aprendizaje profundo de AWS: un punto final en tiempo real para el modelo de imagen FLUX.2-klein-4B y un punto final asíncrono para el modelo de video Wan2.1-VACE-1.3B. Los usuarios proporcionan una indicación textual para crear una imagen estática, la cual se pasa junto con una indicación de movimiento para generar un breve video MP4. La solución utiliza Amazon S3 para manejar las cargas útiles multipart más grandes requeridas para la generación de videos mediante inferencia asíncrona. Se proporciona una interfaz de línea de comandos y una aplicación Streamlit para facilitar este proceso integral. Los autores destacan que separar las tareas de imagen y video permite que cada modelo utilice el tipo de instancia y el patrón de inferencia óptimos para sus requisitos específicos de latencia y carga útil.
aws