Hören Sie auf, Auto-Scaling-Ziele für TTS auf Amazon SageMaker AI zu raten
aws ·
Dieser Artikel stellt eine Methode vor, um das Raten bei Auto-Scaling-Zielen für Text-to-Speech-(TTS)-Endpunkte auf Amazon SageMaker AI zu eliminieren. Er hebt hervor, dass Standardmetriken für TTS oft versagen, da Anfragen Verbindungen offen halten, ohne Token-Generierungsschleifen, wodurch die Parallelität zum entscheidenden Faktor wird. Der Autor bereitstellt das Kokoro-82M-Modell und misst zwei Schlüsselwerte: Q_max, die maximale Parallelität vor einem Verstoß gegen die Service-Level-Objective (SLO), und T_total, die End-to-End-Ausweitungsdauer. Basierend auf diesen Messungen leitet der Artikel präzise Schwellenwerte für die Skalierung nach oben und unten sowie asymmetrische Abklingzeiten ab, um Flapping zu verhindern. Die Lösung nutzt AWS Cloud Development Kit-Stacks und eine benutzerdefinierte CLI-Toolchain, um sicherzustellen, dass keine ungemessene Konfiguration in die Produktion gelangt. Dieser Ansatz ersetzt Annahmen durch datengesteuerte Berechnungen und gewährleistet Kosteneffizienz sowie Latenzkonformität. Die Methodik ist darauf ausgelegt, verallgemeinerbar zu sein auf andere latenzsensitive Echtzeit-Endpunkte über TTS hinaus.
aws