Pare de adivinhar os alvos de dimensionamento automático para TTS no Amazon SageMaker AI
aws ·
Este artigo apresenta um método para eliminar a incerteza nos alvos de dimensionamento automático (auto-scaling) de endpoints de Texto para Fala (TTS) no Amazon SageMaker AI. Destaca-se que as métricas padrão frequentemente falham para TTS, pois as solicitações mantêm conexões abertas sem loops de geração de tokens, tornando a concorrência o fator crítico. O autor implanta o modelo Kokoro-82M e mede dois valores-chave: Q_max, a concorrência máxima antes da violação do Objetivo de Nível de Serviço (SLO), e T_total, o tempo total de escalação horizontal. Com base nessas medições, o artigo deriva limiares precisos de escalação horizontal e vertical, juntamente com tempos de espera assimétricos para evitar oscilações. A solução utiliza pilhas do AWS Cloud Development Kit e uma cadeia de ferramentas CLI personalizada para garantir que nenhuma configuração não medida seja implementada em produção. Essa abordagem substitui suposições por aritmética baseada em dados, garantindo eficiência de custos e conformidade com a latência. A metodologia foi projetada para ser generalizável a outros endpoints sensíveis à latência e em tempo real, além do TTS.
aws