Accelerare l'AI agenziale con i modelli NVIDIA Nemotron su Amazon EKS e SageMaker HyperPod EKS
aws ·
AWS e NVIDIA hanno annunciato la disponibilità del modello Nemotron 3.5 Super VL su Amazon EKS e SageMaker HyperPod EKS, ampliando l'esistente gamma di modelli Nemotron su AWS. Questo nuovo modello mixture-of-experts da 120B parametri attiva solo 12B parametri per token, combinando il ragionamento con la comprensione di testo, immagini, documenti e video in un'unica architettura multimodale. Il modello utilizza un design ibrido Mamba-Transformer che supporta lunghezze del contesto fino a un milione di token, mantenendo un utilizzo efficiente della memoria grazie a layer di stato a dimensione costante. È progettato per flussi di lavoro di AI agentic, tra cui assistenza alla programmazione, ricerca web, intelligenza documentale, triage delle minacce informatiche e analisi video. Le opzioni di distribuzione includono Amazon EKS standard, EKS Auto Mode e SageMaker HyperPod EKS, utilizzando NVIDIA Dynamo e vLLM per il servizio di inferenza. La validazione delle prestazioni è stata condotta su istanze GPU B200 e H200, dimostrando capacità sia per topologie di distribuzione aggregate che disaggregate. L'articolo fornisce indicazioni dettagliate sulla pianificazione della capacità utilizzando metriche di latenza come il tempo al primo token e la latenza inter-token per ottimizzare il throughput entro gli obiettivi di livello di servizio.
aws