Trasmetti voce a bassa latenza dagli agenti AI utilizzando Kokoro TTS su Amazon SageMaker AI
aws ·
Questo articolo illustra come ridurre la latenza negli agenti vocali AI effettuando lo streaming della sintesi text-to-speech in modo concorrente con la generazione del testo, utilizzando il modello Kokoro-82M su Amazon SageMaker AI. Invece di attendere una risposta completa, il sistema invia ogni frase all'endpoint TTS immediatamente tramite uno stream WebSocket bidirezionale. La soluzione prevede la distribuzione di un contenitore personalizzato su un'istanza GPU ml.g5.xlarge e la gestione corretta dei frame WebSocket binari all'interno di un'applicazione Starlette. Una sfida tecnica chiave affrontata è mantenere una sessione persistente per evitare i costi di riconnessione durante l'elaborazione di frasi sequenziali. Per il trasporto dell'audio verso il client, l'autore confronta gli Server-Sent Events codificati in base64 con il multiplexing dei dati binari grezzi sulla stessa connessione. I benchmark dimostrano che questo approccio incrementale riduce di oltre la metà il tempo fino alla prima riproduzione audio in isolamento e migliora le prestazioni end-to-end da 2,4 a 3,5 volte rispetto al processing batch. La guida fornisce esempi di codice specifici per il chunking delle frasi, la decodifica dei frame e il deployment dell'infrastruttura utilizzando AWS CDK.
aws