Генерация изображений и видео с помощью vLLM-Omni в SageMaker AI — Часть 2
aws ·
В этой статье показано, как генерировать изображения и анимировать их в видео с помощью vLLM-Omni на Amazon SageMaker AI. Рабочий процесс развертывает два конечных пункта из одного контейнера AWS Deep Learning: конечный пункт реального времени для модели изображений FLUX.2-klein-4B и асинхронный конечный пункт для модели видео Wan2.1-VACE-1.3B. Пользователи предоставляют текстовый запрос для создания статического изображения, которое затем передается вместе с запросом на движение для генерации короткого видео в формате MP4. Решение использует Amazon S3 для обработки больших многокомпонентных полезной нагрузки, необходимых для генерации видео посредством асинхронного вывода. Предоставлены интерфейс командной строки и приложение Streamlit для облегчения этого сквозного процесса. Авторы подчеркивают, что разделение задач по созданию изображений и видео позволяет каждой модели использовать оптимальный тип экземпляра и шаблон вывода для ее конкретных требований к задержке и размеру полезной нагрузки.
aws