Streamen Sie sprachbasierte KI-Agenten mit niedriger Latenz unter Verwendung von Kokoro TTS auf Amazon SageMaker AI
aws ·
Dieser Artikel zeigt, wie sich die Latenz bei AI-Sprachagenten durch das Streaming von Text-zu-Sprache-Synthese (TTS) parallel zur Textgenerierung mit dem Kokoro-82M-Modell auf Amazon SageMaker AI reduzieren lässt. Anstatt auf eine vollständige Antwort zu warten, sendet das System jeden Satz sofort über einen bidirektionalen WebSocket-Stream an den TTS-Endpunkt. Die Lösung umfasst die Bereitstellung eines benutzerdefinierten Containers auf einer ml.g5.xlarge-GPU-Instanz und die korrekte Handhabung binärer WebSocket-Frames innerhalb einer Starlette-Anwendung. Eine zentrale technische Herausforderung besteht darin, eine persistente Sitzung aufrechtzuerhalten, um Wiederverbindungsüberhead zu vermeiden, während sequenzielle Sätze verarbeitet werden. Zur Übertragung der Audiodaten zum Client vergleicht der Autor base64-kodierte Server-Sent Events (SSE) gegen das Multiplexing roher Binärdaten über dieselbe Verbindung. Benchmarks zeigen, dass dieser inkrementelle Ansatz die Zeit bis zum ersten Audio in Isolation um mehr als die Hälfte verkürzt und die End-to-End-Leistung im Vergleich zur Batch-Verarbeitung um das 2,4- bis 3,5-fache verbessert. Der Leitfaden bietet spezifische Codebeispiele für das Aufteilen in Satzteile, das Dekodieren von Frames sowie die Infrastruktur-Bereitstellung mit AWS CDK.
aws