Créer des applications vocales en temps réel avec vLLM-Omni sur SageMaker AI – Partie 1
aws ·
Cet article propose un tutoriel technique sur le déploiement d'applications vocales en temps réel à l'aide du conteneur de deep learning vLLM-Omni d'AWS sur Amazon SageMaker AI. Il se concentre sur les capacités de synthèse vocale (text-to-speech) en flux continu en utilisant le modèle Qwen3-TTS, qui permet de commencer la génération audio avant que la réponse complète ne soit disponible. La solution exploite le streaming bidirectionnel de SageMaker via des WebSockets HTTP/2 pour envoyer l'entrée textuelle et recevoir des chunks audio PCM à 24 kHz par le biais d'une connexion persistante. Les lecteurs sont guidés étape par étape : clonage d'un dépôt d'exemple, configuration de pools d'instances pour les ressources GPU et déploiement d'un point de terminaison en temps réel. Une application Gradio est utilisée pour démontrer le workflow, permettant aux utilisateurs de générer une parole en flux continu à partir d'entrées textuelles. Le tutoriel souligne que cette approche complète les exemples précédents de reconnaissance vocale (speech-to-text), créant ainsi un pipeline vocal full duplex. Enfin, les auteurs fournissent des instructions pour nettoyer les ressources déployées afin d'éviter des frais inutiles.
aws