Generative KI-Endpunkte mit Konnektivitäts-Sweeps auf Amazon SageMaker AI richtig dimensionieren
aws ·
Dieser Artikel stellt Concurrency Sweeps als systematische Methode vor, um Generative-AI-Endpunkte auf Amazon SageMaker AI optimal zu dimensionieren und dabei das Preis-Leistungs-Verhältnis zu maximieren, während eine akzeptable Latenz eingehalten wird. Durch das Senden kontrollierter, steigender Mengen an gleichzeitigen Anfragen können Nutzer den Sättigungspunkt eines Endpunkts identifizieren, an dem der Durchsatz ein Plateau erreicht und die Latenz stark ansteigt. Der Workflow umfasst das Bereitstellen von Modellen mit dem nativen vLLM-Container, das Konfigurieren von Arbeitslastprofilen sowie das Ausführen automatisierter Benchmarks über die CreateAIBenchmarkJob-API. Wichtige Kennzahlen wie Durchsatz, p99-Latenz und Time-to-First-Token werden analysiert, um die optimale Kapazität zu bestimmen und Überdimensionierung oder Serviceverschlechterung zu vermeiden. Für eine fortgeschrittene Planung beschreibt der Artikel ein automatisches SLA-basiertes Suchrezept, das effizient die maximale Parallelität findet, die bestimmte Leistungsschwellen erfüllt. Dieser Ansatz ersetzt manuelles Schätzen durch datengestützte Entscheidungen und ermöglicht es Teams, ihre Flotten sicher zu dimensionieren, bevor Produktionsverkehr eintrifft. Der Prozess wird anhand eines Walkthroughs für das NVIDIA Nemotron-3 Nano 30B-Modell veranschaulicht, das zeigt, wie Ergebnisse interpretiert und Ressourcen anschließend bereinigt werden.
aws