Diffusez une parole à faible latence depuis des agents IA en utilisant Kokoro TTS sur Amazon SageMaker AI
aws ·
Cet article montre comment réduire la latence des agents vocaux IA en diffusant en continu la synthèse de texte vers la parole (TTS) simultanément à la génération de texte, en utilisant le modèle Kokoro-82M sur Amazon SageMaker AI. Au lieu d'attendre une réponse complète, le système envoie chaque phrase immédiatement au point de terminaison TTS via un flux WebSocket bidirectionnel. La solution implique le déploiement d'un conteneur personnalisé sur une instance GPU ml.g5.xlarge et la gestion correcte des trames WebSocket binaires au sein d'une application Starlette. Un défi technique majeur abordé est le maintien d'une session persistante pour éviter les frais de reconnexion tout en traitant les phrases séquentielles. Pour transporter l'audio vers le client, l'auteur compare les événements envoyés par le serveur (SSE) encodés en base64 à la multiplexation de données binaires brutes sur la même connexion. Les benchmarks indiquent que cette approche incrémentale réduit de plus de moitié le temps jusqu'à la première audio dans un contexte isolé et améliore les performances de bout en bout de 2,4 à 3,5 fois par rapport au traitement par lots. Le guide fournit des exemples de code spécifiques pour le fractionnement des phrases, le décodage des trames et le déploiement de l'infrastructure à l'aide d'AWS CDK.
aws