Amazon SageMaker Inference : bilan des lancements depuis le début de 2026
aws ·
L’article d’AWS passe en revue 13 fonctionnalités d’inférence d’Amazon SageMaker lancées depuis le début de 2026, pour les points de terminaison gérés et l’inférence SageMaker HyperPod native pour Kubernetes. Les points de terminaison gérés s’adressent aux équipes qui souhaitent qu’AWS prenne en charge l’infrastructure et les opérations. Parmi les nouveautés figurent les recommandations d’inférence, les pools d’instances tenant compte de la capacité, les API compatibles avec OpenAI, la mise en cache des conteneurs, une observabilité détaillée, les charges utiles intégrées pour l’inférence asynchrone et le routage sensible aux préfixes. Les nouveautés de HyperPod comprennent un opérateur EKS simplifié, une mise en cache KV à plusieurs niveaux avec routage intelligent, la capture des données, la dissociation du préremplissage et du décodage, des intégrations pour les performances et la sécurité des entreprises, ainsi que la mise en cache des modèles. L’article cite notamment une réduction de l’analyse comparative manuelle, qui passe de plusieurs semaines à quelques heures, une diminution de 51 % de la latence de démarrage des conteneurs, une réduction pouvant atteindre 77 % du délai avant le premier jeton grâce au routage sensible aux préfixes dans les scénarios testés, et une accélération d’environ 60 % de la montée en charge de HyperPod grâce à la mise en cache des modèles. Ensemble, ces lancements répondent aux défis liés au déploiement, à la capacité, à la latence, à la mise à l’échelle, à la surveillance, à la conformité et aux démarrages à froid tout au long du cycle de vie de l’inférence. AWS indique que ses travaux futurs approfondiront l’intégration avec ses services d’IA pour les points de terminaison gérés et ajouteront des stratégies de routage, la prise en charge de frameworks de mise à disposition des modèles et la mise en réseau multirégionale pour HyperPod Inference.
aws