Présentation d’Amazon SageMaker HyperPod Inference Gateway
aws ·
AWS annonce Amazon SageMaker HyperPod Inference Gateway, un module complémentaire de routage natif pour Kubernetes et conscient des GPU, destiné aux clusters HyperPod et EKS existants, qui ne nécessite aucune modification de l’application ni du serveur de modèles. Son architecture à deux niveaux comprend une passerelle Envoy, un routeur fondé sur le contenu (Body-Based Router) pour la sélection des modèles, ainsi qu’un sélecteur de points de terminaison (Endpoint Picker) utilisant des métriques en temps réel telles que l’utilisation du cache KV, la profondeur de la file d’attente, la présence en mémoire des adaptateurs LoRA, les taux de succès du cache de préfixes et le nombre de requêtes actives. La passerelle peut être installée comme un module complémentaire EKS unique et configurée de manière déclarative, tout en exposant un point de terminaison standard compatible avec OpenAI pour les clients existants. Elle prend en charge le routage multimodèle et dirige les requêtes LoRA vers les pods dans lesquels l’adaptateur requis est déjà chargé. Les benchmarks d’AWS, comparés au routage round-robin de Kubernetes, ont fait état de réductions substantielles de la latence de queue du premier jeton et de gains de débit dans des scénarios de GPU mixtes, de trafic en rafales et de préfixes partagés, tandis que les résultats étaient comparables sur des flottes uniformes avec un trafic stable. Le niveau 1 est disponible dans les régions prenant en charge le module complémentaire d’inférence, tandis que le Global Inference Router interclusters et interrégions est prévu dans une version ultérieure.
aws