Bilder und Videos mit vLLM-Omni auf SageMaker AI generieren – Teil 2
aws ·
Dieser Artikel zeigt, wie Bilder generiert und zu Videos animiert werden können, indem vLLM-Omni auf Amazon SageMaker AI eingesetzt wird. Der Workflow stellt zwei Endpunkte aus einem einzigen AWS Deep Learning Container bereit: einen Echtzeit-Endpunkt für das Bildmodell FLUX.2-klein-4B und einen asynchronen Endpunkt für das Videomodell Wan2.1-VACE-1.3B. Die Nutzer geben einen Textprompt ein, um ein Standbild zu erstellen, das anschließend zusammen mit einem Bewegungsprompt verwendet wird, um ein kurzes MP4-Video zu generieren. Die Lösung nutzt Amazon S3, um die größeren Multipart-Payloads zu verarbeiten, die für die Videogenerierung über asynchrone Inferenz erforderlich sind. Eine Befehlszeilenschnittstelle und eine Streamlit-Anwendung stehen zur Verfügung, um diesen End-to-End-Prozess zu erleichtern. Die Autoren betonen, dass die Trennung von Bild- und Videoaufgaben es ermöglicht, für jedes Modell den optimalen Instanztyp und das optimale Inferenzmuster entsprechend dessen spezifischer Latenz- und Payload-Anforderungen zu nutzen.
aws