Transmite voz de baja latencia desde agentes de IA usando Kokoro TTS en Amazon SageMaker AI
aws ·
Este artículo demuestra cómo reducir la latencia en agentes de voz impulsados por IA mediante la transmisión de la síntesis de texto a voz (TTS) de forma concurrente con la generación de texto, utilizando el modelo Kokoro-82M en Amazon SageMaker AI. En lugar de esperar una respuesta completa, el sistema envía cada oración al punto final del TTS inmediatamente a través de un flujo WebSocket bidireccional. La solución implica implementar un contenedor personalizado en una instancia GPU ml.g5.xlarge y gestionar correctamente los marcos WebSocket binarios dentro de una aplicación Starlette. Un desafío técnico clave abordado es mantener una sesión persistente para evitar la sobrecarga de reconexión mientras se procesan oraciones secuenciales. Para transportar el audio de vuelta al cliente, el autor compara las Eventos Enviados por el Servidor (SSE) codificados en base64 frente a la multiplexión de datos binarios sin procesar sobre la misma conexión. Los benchmarks muestran que este enfoque incremental reduce el tiempo hasta el primer audio en más de la mitad de manera aislada y mejora el rendimiento de extremo a extremo entre 2,4 y 3,5 veces en comparación con el procesamiento por lotes. La guía proporciona ejemplos de código específicos para la segmentación de oraciones, la decodificación de marcos y el despliegue de infraestructura utilizando AWS CDK.
aws