Echtzeit-Sprachanwendungen mit vLLM-Omni auf SageMaker AI erstellen – Teil 1
aws ·
Dieser Artikel bietet ein technisches Tutorial zur Bereitstellung von Echtzeit-Sprachanwendungen mit dem AWS vLLM-Omni Deep Learning Container auf Amazon SageMaker AI. Der Fokus liegt auf der Streaming-Text-zu-Sprache-Funktionalität unter Verwendung des Qwen3-TTS-Modells, das es ermöglicht, die Audioerstellung zu beginnen, bevor die vollständige Antwort vorliegt. Die Lösung nutzt den bidirektionalen Streaming über HTTP/2-WebSockets in SageMaker, um Texteingaben zu senden und 24-kHz-PCM-Audioblöcke über eine persistente Verbindung zu empfangen. Die Leser werden durch das Klonen eines Beispiel-Repositorys, die Konfiguration von Instanzpools für GPU-Ressourcen und die Bereitstellung eines Echtzeit-Endpunkts geführt. Eine Gradio-Anwendung demonstriert den Arbeitsablauf und ermöglicht es Benutzern, gestreamte Sprache aus Texteingaben zu generieren. Das Tutorial betont, dass dieser Ansatz frühere Beispiele zur Spracherkennung (Speech-to-Text) ergänzt und so eine voll duplexfähige Sprachpipeline schafft. Abschließend geben die Autoren Anweisungen zur Bereinigung der bereitgestellten Ressourcen, um unnötige Kosten zu vermeiden.
aws