Accélérer l'IA agentique avec les modèles NVIDIA Nemotron sur Amazon EKS et SageMaker HyperPod EKS
aws ·
AWS et NVIDIA ont annoncé la disponibilité du modèle Nemotron 3.5 Super VL sur Amazon EKS et SageMaker HyperPod EKS, élargissant ainsi la gamme existante de modèles Nemotron sur AWS. Ce nouveau modèle à experts multiples de 120 milliards de paramètres n'active que 12 milliards de paramètres par token, combinant raisonnement et compréhension du texte, des images, des documents et des vidéos au sein d'une seule architecture multimodale. Le modèle utilise une conception hybride Mamba-Transformer qui prend en charge des longueurs de contexte allant jusqu'à un million de tokens tout en maintenant une utilisation efficace de la mémoire grâce à des couches d'état de taille constante. Il est conçu pour les flux de travail d'IA agentique, notamment l'assistance au codage, la recherche web, l'intelligence documentaire, le triage des menaces de cybersécurité et l'analyse vidéo. Les options de déploiement incluent Amazon EKS standard, EKS Auto Mode et SageMaker HyperPod EKS, utilisant NVIDIA Dynamo et vLLM pour le service d'inférence. La validation des performances a été réalisée sur des instances GPU B200 et H200, démontrant des capacités tant pour les topologies de déploiement agrégées que désagrégées. L'article fournit des directives détaillées sur la planification de la capacité en utilisant des métriques de latence telles que le temps jusqu'au premier token et la latence inter-token afin d'optimiser le débit dans le respect des objectifs de niveau de service.
aws