Acelerar la IA agente con modelos NVIDIA Nemotron en Amazon EKS y SageMaker HyperPod EKS
aws ·
AWS y NVIDIA han anunciado la disponibilidad del modelo Nemotron 3.5 Super VL en Amazon EKS y SageMaker HyperPod EKS, ampliando la línea existente de modelos Nemotron en AWS. Este nuevo modelo de mezcla de expertos con 120 mil millones de parámetros activa solo 12 mil millones de parámetros por token, combinando razonamiento con comprensión de texto, imágenes, documentos y video en una única arquitectura multimodal. El modelo utiliza un diseño híbrido Mamba-Transformer que admite longitudes de contexto de hasta un millón de tokens mientras mantiene un uso eficiente de la memoria mediante capas de estado de tamaño constante. Está diseñado para flujos de trabajo de IA agéntica, incluida la asistencia en programación, investigación web, inteligencia documental, triaje de amenazas de ciberseguridad y análisis de video. Las opciones de implementación incluyen Amazon EKS estándar, EKS Auto Mode y SageMaker HyperPod EKS, utilizando NVIDIA Dynamo y vLLM para el servicio de inferencia. La validación del rendimiento se ha realizado en instancias de GPU B200 y H200, demostrando capacidades tanto para topologías de implementación agregadas como desagregadas. El artículo proporciona orientación detallada sobre la planificación de capacidad utilizando métricas de latencia, como el tiempo hasta el primer token y la latencia entre tokens, para optimizar el rendimiento dentro de los objetivos de nivel de servicio.
aws