使用 Ray LLM 深度学习容器运行多节点推理工作负载
aws ·
本文演示了如何使用新的 Ray LLM 深度学习容器在 Amazon EKS 上将大语言模型部署到多个 GPU 节点。该解决方案实现了预填充和解码的分离，其中一个节点处理提示词，另一个节点生成令牌，从而避免计算密集型和内存受限阶段之间的资源争用。AWS 提供了预构建的容器镜像，集成了 vLLM、Ray Serve、用于缓存传输的 NIXL 以及弹性fabric适配器（EFA）堆栈，无需自定义样板代码或手动管理依赖项。部署架构利用 CPU 头节点进行编排，并将两个 GPU 工作节点固定在同一可用区，以确保通过 EFA 实现低延迟通信。配置通过基于 YAML 的应用程序构建器简化，该构建器自动在 OpenAI 兼容端点后面连接 KV 缓存传输。本指南概述了配置 EKS 集群、安装 KubeRay 运算符以及使用特定模型参数部署 RayService 的分步过程。最后，它提供了调用端点、验证 EFA 使用情况以及清理资源以避免持续费用的说明。
aws