Einführung von Amazon SageMaker HyperPod Inference Gateway
aws ·
AWS kündigt das Amazon SageMaker HyperPod Inference Gateway an, ein Kubernetes-natives, GPU-bewusstes Routing-Add-on für bestehende HyperPod- und EKS-Cluster, das keine Änderungen an Anwendungen oder Model-Servern erfordert. Sein zweistufiger Aufbau umfasst ein Envoy Gateway, einen Body-Based Router zur Modellauswahl und einen Endpoint Picker, der Echtzeitmetriken wie die KV-Cache-Auslastung, die Warteschlangentiefe, die Präsenz von LoRA-Adaptern, Treffer im Prefix-Cache und die Zahl aktiver Anfragen nutzt. Das Gateway kann als einzelnes EKS-Add-on installiert und deklarativ konfiguriert werden und stellt zugleich einen standardmäßigen OpenAI-kompatiblen Endpunkt für bestehende Clients bereit. Es unterstützt das Routing mehrerer Modelle und leitet LoRA-Anfragen an Pods weiter, in denen der erforderliche Adapter bereits geladen ist. AWS-Benchmarks im Vergleich zum Round-Robin-Routing von Kubernetes ergaben deutliche Verringerungen der Tail-Latenz bis zum ersten Token und höhere Durchsätze in Szenarien mit gemischten GPUs, stoßartigem Datenverkehr und gemeinsam genutzten Präfixen, während die Ergebnisse bei homogenen Flotten unter gleichmäßigem Datenverkehr vergleichbar waren. Tier 1 ist in Regionen verfügbar, die das Inference-Add-on unterstützen; der cluster- und regionenübergreifende Global Inference Router ist für eine zukünftige Version geplant.
aws