Правильный выбор размера конечных точек генеративного ИИ с помощью сканирования конкурентности в Amazon SageMaker AI
aws ·
В данной статье представлены конвейерные тесты на конкурентность (concurrency sweeps) как систематический метод оптимизации размеров эндпоинтов генеративного ИИ в Amazon SageMaker AI для максимизации соотношения цены и производительности при сохранении приемлемой задержки. Отправляя контролируемый, постепенно возрастающий объем одновременного трафика, пользователи могут определить точку насыщения эндпоинта, где пропускная способность выходит на плато, а задержка резко возрастает. Рабочий процесс включает развертывание моделей с использованием нативного контейнера vLLM, настройку профилей нагрузки и запуск автоматизированных бенчмарков через API CreateAIBenchmarkJob. Ключевые метрики, такие как пропускная способность, задержка p99 и время до получения первого токена, анализируются для определения оптимальной мощности и предотвращения избыточного выделения ресурсов или деградации сервиса. Для более сложного планирования в статье описан рецепт автоматического поиска на основе SLA, который эффективно находит максимальную конкурентность, удовлетворяющую определенным порогам производительности. Этот подход заменяет ручные догадки решениями, основанными на данных, позволяя командам уверенно определять размеры своих кластеров до начала производственного трафика. Процесс иллюстрируется пошаговым разбором модели NVIDIA Nemotron-3 Nano 30B, демонстрирующим, как интерпретировать результаты и очищать ресурсы afterward.
aws