Перестаньте гадать целевые значения автомасштабирования для TTS в Amazon SageMaker AI
aws ·
В статье представлен метод устранения неопределенности при выборе целей автомасштабирования для endpoints Text-to-Speech (TTS) в Amazon SageMaker AI. Подчеркивается, что метрики по умолчанию часто не подходят для TTS, поскольку запросы удерживают соединения открытыми без циклов генерации токенов, что делает ключевым фактором уровень параллельных подключений (concurrency). Автор разворачивает модель Kokoro-82M и измеряет два основных показателя: Q_max — максимальный уровень параллельных подключений до нарушения целевых показателей уровня обслуживания (SLO), и T_total — время полного масштабирования «вверх». На основе этих измерений выводятся точные пороги масштабирования «вверх» и «вниз», а также асимметричные периоды ожидания (cooldowns) для предотвращения колебаний нагрузки. Решение использует стеки AWS Cloud Development Kit и пользовательскую цепочку инструментов CLI, чтобы гарантировать отсутствие непроверенных конфигураций в продакшене. Этот подход заменяет предположения расчетами на основе данных, обеспечивая экономическую эффективность и соблюдение требований к задержкам. Методология разработана так, чтобы быть применимой к другим чувствительным к задержкам endpointам реального времени, выходящим за рамки только TTS.
aws