在Amazon SageMaker AI上使用Kokoro TTS流式传输AI代理的低延迟语音
aws ·
本文展示了如何在 Amazon SageMaker AI 上使用 Kokoro-82M 模型，通过将文本到语音（TTS）合成与文本生成并发流式处理，来降低 AI 语音助手的延迟。系统无需等待完整响应，而是通过双向 WebSocket 流立即将每个句子发送至 TTS 端点。该方案涉及在 ml.g5.xlarge GPU 实例上部署自定义容器，并在 Starlette 应用中正确处理二进制 WebSocket 帧。解决的一个关键技术挑战是保持持久会话，以避免在处理连续句子时产生重连开销。在将音频传回客户端方面，作者比较了使用 Base64 编码的服务端发送事件（SSE）与在同一连接上复用原始二进制数据两种方案。基准测试表明，这种增量方法使首次音频延迟时间缩短了一半以上，与批处理方式相比，端到端性能提升了 2.4 至 3.5 倍。该指南提供了用于句子分块、帧解码以及使用 AWS CDK 进行基础设施部署的具体代码示例。
aws