在 Amazon EKS 和 SageMaker HyperPod EKS 上使用 NVIDIA Nemotron 模型加速代理式 AI | AI Archive

在 Amazon EKS 和 SageMaker HyperPod EKS 上使用 NVIDIA Nemotron 模型加速代理式 AI

aws · 2026-10-29T16:11:08+00:00

AWS与NVIDIA宣布在Amazon EKS和SageMaker HyperPod EKS上提供Nemotron 3.5 Super VL模型，进一步丰富了AWS上的Nemotron模型阵容。这款拥有1200亿参数的混合专家（MoE）模型每个token仅激活120亿参数，将推理能力与文本、图像、文档和视频理解融合于单一的多模态架构中。该模型采用混合Mamba-Transformer设计，支持长达一百万个token的上下文长度，同时通过固定大小的状态层保持高效的内存使用。它专为代理式AI工作流设计，涵盖代码辅助、网络研究、文档智能、网络安全威胁分级以及视频分析等场景。部署选项包括标准Amazon EKS、EKS Auto Mode以及SageMaker HyperPod EKS，并利用NVIDIA Dynamo和vLLM进行推理服务。性能验证已在B200和H200 GPU实例上完成，展示了其在聚合和分离部署拓扑中的能力。文章提供了详细的容量规划指南，利用首token延迟和词元间延迟等指标优化吞吐量，以满足服务等级目标。