Transmita fala de baixa latência de agentes de IA usando Kokoro TTS no Amazon SageMaker AI
aws ·
Este artigo demonstra como reduzir a latência em agentes de voz de IA ao transmitir a síntese de texto para fala (TTS) simultaneamente com a geração de texto, utilizando o modelo Kokoro-82M no Amazon SageMaker AI. Em vez de aguardar uma resposta completa, o sistema envia cada frase imediatamente ao endpoint de TTS por meio de um fluxo WebSocket bidirecional. A solução envolve implantar um contêiner personalizado em uma instância GPU ml.g5.xlarge e lidar corretamente com os quadros binários do WebSocket dentro de uma aplicação Starlette. Um desafio técnico crucial abordado é manter uma sessão persistente para evitar a sobrecarga de reconexão enquanto processa frases sequenciais. Para transportar o áudio de volta ao cliente, o autor compara Eventos Enviados pelo Servidor (SSEs) codificados em base64 contra a multiplexação de dados binários brutos na mesma conexão. Os benchmarks mostram que essa abordagem incremental reduz o tempo até o primeiro áudio em mais da metade em isolamento e melhora o desempenho de ponta a ponta em 2,4 a 3,5 vezes em comparação com o processamento em lote. O guia fornece exemplos de código específicos para fragmentação de frases, decodificação de quadros e implantação de infraestrutura usando AWS CDK.
aws