Amazon SageMaker Inference：2026 年迄今发布功能回顾
aws ·
这篇 AWS 博文回顾了 2026 年迄今推出的 13 项 Amazon SageMaker AI 推理能力，涵盖托管端点和云原生 Kubernetes 的 SageMaker HyperPod Inference。托管端点面向希望由 AWS 负责基础设施和运维的团队，新增功能包括推理建议、容量感知型实例池、兼容 OpenAI 的 API、容器缓存、详细的可观测性、异步推理的内联载荷以及前缀感知路由。HyperPod 方面的新增功能包括简化的 EKS 运算符、结合智能路由的分层 KV 缓存、数据捕获、预填充与解码解耦、企业级性能和安全集成，以及模型缓存。博文列举的示例包括：将手动基准测试从数周缩短至数小时，将容器启动延迟降低 51%，在测试场景中将前缀感知路由的首个令牌生成时间最多缩短 77%，以及借助模型缓存将 HyperPod 扩容速度提升约 60%。这些发布共同应对了整个推理生命周期中的部署、容量、延迟、扩展、监控、合规和冷启动等挑战。AWS 表示，未来将进一步加强托管端点与其 AI 服务的集成，并为 HyperPod Inference 增加路由策略、服务框架支持和多区域网络功能。
aws