Smetti di indovinare i target di auto-scaling per il TTS su Amazon SageMaker AI
aws ·
Questo articolo presenta un metodo per eliminare le supposizioni sui target di auto-scaling degli endpoint Text-to-Speech (TTS) su Amazon SageMaker AI. Evidenzia che le metriche predefinite spesso non funzionano per TTS perché le richieste mantengono le connessioni aperte senza loop di generazione di token, rendendo la concorrenza il fattore critico. L'autore distribuisce il modello Kokoro-82M e misura due valori chiave: Q_max, la concorrenza massima prima del mancato rispetto dell'Obiettivo di Livello di Servizio (SLO), e T_total, il tempo end-to-end per lo scale-out. Utilizzando queste misurazioni, l'articolo deriva soglie precise per lo scale-out e lo scale-in, insieme a cooldown asimmetrici per evitare flapping. La soluzione utilizza stack AWS Cloud Development Kit e una catena di strumenti CLI personalizzati per garantire che nessuna configurazione non misurata raggiunga la produzione. Questo approccio sostituisce le assunzioni con aritmetica basata sui dati, assicurando efficienza dei costi e conformità alla latenza. La metodologia è progettata per essere generalizzabile ad altri endpoint real-time sensibili alla latenza, oltre al solo TTS.
aws