Amazon SageMaker Inference: Rückblick auf die bisherigen Veröffentlichungen 2026
aws ·
Der AWS-Beitrag gibt einen Überblick über 13 im bisherigen Jahresverlauf 2026 eingeführte Funktionen für die Amazon-SageMaker-KI-Inferenz – sowohl für verwaltete Endpunkte als auch für das Kubernetes-native SageMaker HyperPod Inference. Verwaltete Endpunkte richten sich an Teams, die möchten, dass AWS Infrastruktur und Betrieb übernimmt. Zu den Neuerungen gehören Empfehlungen für die Inferenz, auslastungsbewusste Instanzpools, mit OpenAI kompatible APIs, Container-Caching, detaillierte Beobachtbarkeit, Inline-Payloads für asynchrone Inferenz und präfixbewusstes Routing. Für HyperPod wurden unter anderem ein vereinfachter EKS-Operator, abgestuftes KV-Caching mit intelligentem Routing, Datenerfassung, eine disaggregierte Verarbeitung von Prefill und Decode, Integrationen für Leistung und Sicherheit in Unternehmen sowie Model-Caching eingeführt. Der Beitrag nennt Beispiele wie die Verkürzung manueller Benchmarking-Prozesse von Wochen auf Stunden, eine Reduzierung der Startlatenz von Containern um 51 Prozent, eine Verkürzung der Zeit bis zum ersten Token durch präfixbewusstes Routing um bis zu 77 Prozent in getesteten Szenarien sowie eine Beschleunigung der horizontalen Skalierung von HyperPod um etwa 60 Prozent durch Model-Caching. Zusammengenommen adressieren die Neuerungen Herausforderungen bei Bereitstellung, Kapazität, Latenz, Skalierung, Überwachung, Compliance und Kaltstarts entlang des gesamten Inferenzlebenszyklus. AWS zufolge sollen künftige Arbeiten die Integration verwalteter Endpunkte mit seinen KI-Diensten vertiefen und zusätzliche Routing-Strategien, Unterstützung für Serving-Frameworks sowie Multi-Region-Networking für HyperPod Inference bieten.
aws