Arrêtez de deviner les cibles d'auto-mise à l'échelle pour la synthèse vocale sur Amazon SageMaker AI
aws ·
Cet article présente une méthode pour éliminer les suppositions concernant les cibles de mise à l'échelle automatique des points de terminaison Text-to-Speech (TTS) sur Amazon SageMaker AI. Il souligne que les métriques par défaut sont souvent inefficaces pour le TTS, car les requêtes maintiennent les connexions ouvertes sans boucles de génération de jetons, ce qui rend la concurrence factorielle déterminante. L'auteur déploie le modèle Kokoro-82M et mesure deux valeurs clés : Q_max, la concurrence maximale avant violation de l'objectif de niveau de service (SLO), et T_total, le temps total de montée en charge. À partir de ces mesures, l'article déduit des seuils précis de montée et de descente en charge, ainsi que des délais d'inactivité asymétriques pour éviter les oscillations. La solution utilise des piles AWS Cloud Development Kit et une chaîne d'outils CLI personnalisée afin de garantir qu'aucune configuration non mesurée ne soit déployée en production. Cette approche remplace les hypothèses par un calcul fondé sur les données, assurant ainsi l'efficacité des coûts et le respect des latences. La méthodologie est conçue pour être généralisable à d'autres points de terminaison sensibles à la latence et en temps réel, au-delà du seul TTS.
aws