Dimensionare correttamente gli endpoint di intelligenza artificiale generativa con le scansioni di concorrenza su Amazon SageMaker AI
aws ·
Questo articolo introduce le "concurrency sweeps" (scansioni di concorrenza) come metodo sistematico per dimensionare correttamente gli endpoint di intelligenza artificiale generativa su Amazon SageMaker AI, massimizzando il rapporto prezzo-prestazioni mantenendo una latenza accettabile. Inviando livelli controllati e crescenti di traffico concorrente, gli utenti possono identificare il punto di saturazione dell'endpoint in cui il throughput si stabilizza e la latenza aumenta bruscamente. Il flusso di lavoro prevede la distribuzione dei modelli utilizzando il contenitore nativo vLLM, la configurazione dei profili di carico e l'esecuzione di benchmark automatizzati tramite l'API CreateAIBenchmarkJob. Le metriche chiave, come il throughput, la latenza al percentile 99 (p99) e il tempo fino al primo token, vengono analizzate per determinare la capacità ottimale ed evitare il sovradimensionamento o il degrado del servizio. Per una pianificazione più avanzata, l'articolo descrive una ricetta di ricerca automatica basata sugli SLA che trova in modo efficiente la massima concorrenza soddisfacendo specifici soglie di prestazione. Questo approccio sostituisce le supposizioni manuali con decisioni basate sui dati, consentendo ai team di dimensionare con sicurezza le proprie flotte prima che arrivi il traffico di produzione. Il processo viene illustrato attraverso un esempio pratico con il modello NVIDIA Nemotron-3 Nano 30B, dimostrando come interpretare i risultati e pulire le risorse al termine.
aws