推出 Amazon SageMaker HyperPod Inference Gateway
aws ·
AWS宣布推出Amazon SageMaker HyperPod Inference Gateway，这是一个原生支持Kubernetes、具备GPU感知能力的路由插件，可用于现有的HyperPod和EKS集群，且无需修改应用或模型服务器。其双层设计包括Envoy Gateway、用于选择模型的基于请求体的路由器（Body-Based Router），以及端点选择器（Endpoint Picker）；后者会使用KV缓存利用率、队列深度、LoRA适配器驻留状态、前缀缓存命中率和活动请求数等实时指标。该网关可作为单个EKS插件安装，并通过声明式方式配置，同时提供与OpenAI兼容的标准端点，因此现有客户端无需改动。它支持多模型路由，并会将LoRA请求定向到已加载所需适配器的Pod。AWS将其与Kubernetes轮询路由进行基准测试后报告称，在混合GPU、突发流量和共享前缀场景下，首令牌尾部延迟大幅降低、吞吐量有所提升；而在流量稳定且集群配置统一的情况下，结果基本相当。第一层功能已在支持该推理插件的区域推出；跨集群和跨区域的Global Inference Router计划在未来版本中发布。
aws