Beschleunigen Sie agentic AI mit NVIDIA Nemotron-Modellen auf Amazon EKS und SageMaker HyperPod EKS
aws ·
AWS und NVIDIA haben die Verfügbarkeit des Nemotron 3.5 Super VL-Modells auf Amazon EKS und SageMaker HyperPod EKS angekündigt, wodurch das bestehende Sortiment der Nemotron-Modelle auf AWS erweitert wird. Dieses neue Mixture-of-Experts-Modell mit 120 Milliarden Parametern aktiviert pro Token nur 12 Milliarden Parameter und kombiniert in einer einzigen multimodalen Architektur Reasoning mit dem Verständnis von Text, Bildern, Dokumenten und Videos. Das Modell nutzt ein hybrides Mamba-Transformer-Design, das Kontextlängen von bis zu einer Million Token unterstützt und gleichzeitig einen effizienten Speichereinsatz durch State-Layers konstanter Größe gewährleistet. Es ist für agentic AI-Workflows konzipiert, darunter Code-Assistenz, Websuche, Dokumentenintelligenz, Triage von Cybersicherheitsthreats und Videoanalyse. Bereitstellungsoptionen umfassen Standard-Amazon EKS, EKS Auto Mode und SageMaker HyperPod EKS unter Nutzung von NVIDIA Dynamo und vLLM für den Inference-Serving. Die Leistungsvalidierung wurde an B200- und H200-GPU-Instanzen durchgeführt, was Fähigkeiten sowohl für aggregierte als auch disaggregierte Deployment-Topologien demonstriert. Der Artikel bietet detaillierte Anleitungen zur Kapazitätsplanung anhand von Latenzmetriken wie Time-to-First-Token und Inter-Token-Latenz, um den Durchsatz innerhalb der Service Level Objectives zu optimieren.
aws