Gerar imagens e vídeos com vLLM-Omni no SageMaker AI – Parte 2
aws ·
Este artigo demonstra como gerar imagens e animá-las em vídeos usando o vLLM-Omni no Amazon SageMaker AI. O fluxo de trabalho implanta dois pontos de extremidade a partir de um único contêiner de aprendizado profundo da AWS: um ponto de extremidade em tempo real para o modelo de imagem FLUX.2-klein-4B e um ponto de extremidade assíncrono para o modelo de vídeo Wan2.1-VACE-1.3B. Os usuários fornecem um prompt de texto para criar uma imagem estática, que é então passada junto com um prompt de movimento para gerar um vídeo curto em formato MP4. A solução utiliza o Amazon S3 para lidar com os payloads multipart maiores exigidos pela geração de vídeos por meio de inferência assíncrona. Uma interface de linha de comando e um aplicativo Streamlit são fornecidos para facilitar esse processo de ponta a ponta. Os autores destacam que separar as tarefas de imagem e vídeo permite que cada modelo utilize o tipo de instância e o padrão de inferência ideais para seus requisitos específicos de latência e payload.
aws