Costruire applicazioni vocali in tempo reale con vLLM-Omni su SageMaker AI – Parte 1
aws ·
Questo articolo offre un tutorial tecnico sulla distribuzione di applicazioni vocali in tempo reale utilizzando il contenitore di deep learning AWS vLLM-Omni su Amazon SageMaker AI. Si concentra sulle funzionalità di streaming text-to-speech sfruttando il modello Qwen3-TTS, che consente di iniziare la generazione audio prima del completamento della risposta completa. La soluzione sfrutta lo streaming bidirezionale di SageMaker tramite WebSocket HTTP/2 per inviare input testuali e ricevere chunk audio PCM a 24 kHz attraverso una connessione persistente. I lettori vengono guidati nella clonazione di un repository di esempio, nella configurazione dei pool di istanze per le risorse GPU e nel deployment di un endpoint in tempo reale. Viene utilizzata un'applicazione Gradio per dimostrare il flusso di lavoro, consentendo agli utenti di generare speech in streaming da input testuali. Il tutorial sottolinea che questo approccio integra gli esempi precedenti di speech-to-text, creando un pipeline vocale full duplex. Infine, gli autori forniscono istruzioni per la pulizia delle risorse deployate al fine di evitare addebiti non necessari.
aws