Deja de adivinar los objetivos de escalado automático para TTS en Amazon SageMaker AI
aws ·
Este artículo presenta un método para eliminar la incertidumbre en los objetivos de escalado automático de los puntos de conexión de Texto a Voz (TTS) en Amazon SageMaker AI. Destaca que las métricas predeterminadas suelen fallar para TTS porque las solicitudes mantienen las conexiones abiertas sin bucles de generación de tokens, lo que convierte la concurrencia en el factor crítico. El autor implementa el modelo Kokoro-82M y mide dos valores clave: Q_max, la concurrencia máxima antes de violar el Objetivo de Nivel de Servicio (SLO), y T_total, el tiempo total de escalado hacia afuera. Utilizando estas mediciones, el artículo deriva umbrales precisos de escalado hacia afuera y hacia adentro, junto con tiempos de enfriamiento asimétricos para evitar fluctuaciones. La solución utiliza pilas del Kit de Desarrollo de AWS (CDK) y una cadena de herramientas de línea de comandos personalizada para garantizar que ninguna configuración no medida llegue a producción. Este enfoque reemplaza las suposiciones con aritmética basada en datos, asegurando eficiencia de costos y cumplimiento de latencia. La metodología está diseñada para ser generalizable a otros puntos de conexión en tiempo real sensibles a la latencia, más allá del solo TTS.
aws