停止在Amazon SageMaker AI上猜测文本转语音的自动伸缩目标
aws ·
本文介绍了一种消除 Amazon SageMaker AI 上文本转语音 (TTS) 端点自动伸缩目标中猜测成分的方法。文章指出,由于请求会保持连接打开且不涉及令牌生成循环,默认指标往往不适用于 TTS,因此并发量成为关键因素。作者部署了 Kokoro-82M 模型,并测量了两个关键值:Q_max(违反服务级别目标前的最大并发量)和 T_total(端到端扩容时间)。基于这些测量数据,文章推导出了精确的扩容和缩容阈值以及非对称冷却时间,以防止伸缩震荡。该解决方案利用 AWS Cloud Development Kit 堆栈和自定义 CLI 工具链,确保没有任何未经测量的配置进入生产环境。这种方法用基于数据的算术替代了假设,确保了成本效益和延迟合规性。该方法论旨在具有通用性,可推广至 TTS 之外的其他对延迟敏感、实时性的端点。
aws