Создание приложений для работы с голосом в реальном времени с помощью vLLM-Omni на SageMaker AI — Часть 1
aws ·
В этой статье представлен технический обзор развертывания приложений для обработки голоса в реальном времени с использованием контейнера глубокого обучения AWS vLLM-Omni на платформе Amazon SageMaker AI. Особое внимание уделяется возможностям потоковой передачи преобразования текста в речь (TTS) с применением модели Qwen3-TTS, что позволяет начинать генерацию аудио до завершения формирования полного ответа. Решение использует двунаправленную потоковую передачу через HTTP/2 WebSockets в SageMaker для отправки текстового ввода и получения аудиопотоков в формате PCM с частотой дискретизации 24 кГц через постоянное соединение. Читателям предлагается клонировать пример репозитория, настроить пулы инстансов для ресурсов GPU и развернуть конечную точку для работы в реальном времени. Для демонстрации рабочего процесса используется приложение Gradio, позволяющее пользователям генерировать потоковую речь из текстовых входных данных. В руководстве подчеркивается, что данный подход дополняет ранее рассмотренные примеры распознавания речи в текст (STT), формируя полноценный полнодуплексный голосовой конвейер. Наконец, авторы приводят инструкции по очистке развернутых ресурсов во избежание ненужных расходов.
aws