使用 Amazon SageMaker AI 上的并发扫描为生成式 AI 端点正确调整大小
aws ·
本文介绍了在 Amazon SageMaker AI 上通过并发扫描(concurrency sweeps)系统化地调整生成式 AI 端点规模的方法,旨在保持可接受的延迟的同时最大化性价比。通过发送受控且逐步增加级别的并发流量,用户可以识别出吞吐量趋于平稳且延迟激增的端点饱和点。工作流程包括使用原生 vLLM 容器部署模型、配置工作负载配置文件,并通过 CreateAIBenchmarkJob API 运行自动化基准测试。通过分析吞吐量、p99 延迟和首字生成时间等关键指标,确定最佳容量并防止过度配置或服务降级。对于更高级的规划,文章描述了一种基于服务等级协议(SLA)的自动搜索配方,能够高效地找到满足特定性能阈值的最大并发数。这种方法以数据驱动的决策取代了手动猜测,使团队能够在生产流量到来之前自信地为集群进行规模设定。文章通过对 NVIDIA Nemotron-3 Nano 30B 模型的演练,展示了如何解读结果以及在事后清理资源。
aws