Acelerar a IA agente com modelos NVIDIA Nemotron no Amazon EKS e SageMaker HyperPod EKS
aws ·
A AWS e a NVIDIA anunciaram a disponibilidade do modelo Nemotron 3.5 Super VL no Amazon EKS e no SageMaker HyperPod EKS, ampliando a linha existente de modelos Nemotron na AWS. Este novo modelo misto de especialistas com 120 bilhões de parâmetros ativa apenas 12 bilhões de parâmetros por token, combinando raciocínio com compreensão de texto, imagem, documento e vídeo em uma única arquitetura multimodal. O modelo utiliza um design híbrido Mamba-Transformer que suporta comprimentos de contexto de até um milhão de tokens, mantendo o uso eficiente de memória por meio de camadas de estado de tamanho constante. Ele foi projetado para fluxos de trabalho de IA agêntica, incluindo assistência de codificação, pesquisa na web, inteligência documental, triagem de ameaças de cibersegurança e análise de vídeo. As opções de implantação incluem Amazon EKS padrão, EKS Auto Mode e SageMaker HyperPod EKS, utilizando NVIDIA Dynamo e vLLM para serviço de inferência. A validação de desempenho foi realizada em instâncias de GPU B200 e H200, demonstrando capacidades tanto para topologias de implantação agregada quanto desagregada. O artigo fornece orientações detalhadas sobre o planejamento de capacidade usando métricas de latência, como tempo até o primeiro token e latência entre tokens, para otimizar o throughput dentro dos objetivos de nível de serviço.
aws