Generare immagini e video con vLLM-Omni su SageMaker AI – Parte 2
aws ·
Questo articolo dimostra come generare immagini e animarle in video utilizzando vLLM-Omni su Amazon SageMaker AI. Il flusso di lavoro distribuisce due endpoint da un singolo AWS Deep Learning Container: un endpoint in tempo reale per il modello di immagini FLUX.2-klein-4B e un endpoint asincrono per il modello di video Wan2.1-VACE-1.3B. Gli utenti forniscono un prompt testuale per creare un'immagine statica, che viene poi passata insieme a un prompt di movimento per generare un breve video MP4. La soluzione utilizza Amazon S3 per gestire i payload multipart più grandi richiesti dalla generazione di video tramite inferenza asincrona. Viene fornita un'interfaccia a riga di comando e un'applicazione Streamlit per facilitare questo processo end-to-end. Gli autori sottolineano che separare i compiti di immagine e video consente a ciascun modello di utilizzare il tipo di istanza e il pattern di inferenza ottimali per le proprie specifiche esigenze di latenza e payload.
aws