Amazon SageMaker Inference: repaso de los lanzamientos de 2026 hasta la fecha
aws ·
La publicación de AWS revisa 13 capacidades de inferencia de Amazon SageMaker AI lanzadas en lo que va de 2026 para endpoints administrados y para SageMaker HyperPod Inference nativo de Kubernetes. Los endpoints administrados están destinados a equipos que quieren que AWS se encargue de la infraestructura y las operaciones, y las novedades incluyen recomendaciones de inferencia, grupos de instancias conscientes de la capacidad, API compatibles con OpenAI, almacenamiento en caché de contenedores, observabilidad detallada, cargas útiles integradas para la inferencia asíncrona y enrutamiento consciente de prefijos. Las novedades de HyperPod incluyen un operador de EKS simplificado, almacenamiento en caché de KV por niveles con enrutamiento inteligente, captura de datos, prellenado y decodificación desagregados, integraciones empresariales de rendimiento y seguridad, y almacenamiento en caché de modelos. La publicación informa de ejemplos como la reducción de las pruebas comparativas manuales de semanas a horas, una disminución del 51 % en la latencia de inicio de contenedores, una reducción de hasta el 77 % en el tiempo hasta el primer token mediante el enrutamiento consciente de prefijos en los escenarios probados y una aceleración de aproximadamente el 60 % en la ampliación de HyperPod gracias al almacenamiento en caché de modelos. En conjunto, los lanzamientos abordan los desafíos de implementación, capacidad, latencia, escalado, supervisión, cumplimiento y arranques en frío a lo largo del ciclo de vida de la inferencia. AWS afirma que el trabajo futuro profundizará la integración con sus servicios de IA para los endpoints administrados y añadirá estrategias de enrutamiento, compatibilidad con marcos de servicio y redes multirregión para HyperPod Inference.
aws