Dimensionner correctement les points de terminaison de l'IA générative avec des balayages de concurrence sur Amazon SageMaker AI
aws ·
Cet article présente les « sweeps de concurrence » comme une méthode systématique pour dimensionner correctement les points de terminaison d'IA générative sur Amazon SageMaker AI, afin de maximiser le rapport coût-performance tout en maintenant une latence acceptable. En envoyant des niveaux contrôlés et croissants de trafic simultané, les utilisateurs peuvent identifier le point de saturation d'un point de terminaison, où le débit stagne et la latence augmente brusquement. Le flux de travail implique le déploiement de modèles à l'aide du conteneur natif vLLM, la configuration de profils de charge et l'exécution de benchmarks automatisés via l'API CreateAIBenchmarkJob. Des métriques clés telles que le débit, la latence p99 et le temps jusqu'au premier jeton sont analysées pour déterminer la capacité optimale et éviter le surdimensionnement ou la dégradation du service. Pour une planification plus avancée, l'article décrit une recette de recherche automatique basée sur les SLA qui permet de trouver efficacement la concurrence maximale satisfaisant des seuils de performance spécifiques. Cette approche remplace les devinettes manuelles par des décisions fondées sur les données, permettant aux équipes de dimensionner leurs flottes en toute confiance avant l'arrivée du trafic de production. Le processus est illustré par un tutoriel utilisant le modèle NVIDIA Nemotron-3 Nano 30B, démontrant comment interpréter les résultats et nettoyer les ressources par la suite.
aws