Ускорение агентного ИИ с помощью моделей NVIDIA Nemotron на Amazon EKS и SageMaker HyperPod EKS
aws ·
Компании AWS и NVIDIA объявили о доступности модели Nemotron 3.5 Super VL на платформах Amazon EKS и SageMaker HyperPod EKS, что расширяет существующий ассортимент моделей Nemotron в AWS. Эта новая модель с архитектурой mixture-of-experts (смесь экспертов) содержит 120 миллиардов параметров, но активирует только 12 миллиардов параметров на каждый токен, объединяя способности к рассуждению с пониманием текста, изображений, документов и видео в единой мультимодальной архитектуре. Модель использует гибридный дизайн Mamba-Transformer, который поддерживает длину контекста до одного миллиона токенов при этом сохраняя эффективное использование памяти благодаря слоям состояния постоянного размера. Она предназначена для рабочих процессов агентного ИИ, включая помощь в программировании, веб-поиск, интеллектуальный анализ документов, первичную обработку угроз кибербезопасности и анализ видео. Варианты развертывания включают стандартный Amazon EKS, режим EKS Auto Mode и SageMaker HyperPod EKS с использованием технологий NVIDIA Dynamo и vLLM для обслуживания вывода результатов. Валидация производительности была проведена на GPU-инстансах B200 и H200, продемонстрировав возможности как для агрегированных, так и для деагрегированных топологий развертывания. В статье содержится подробное руководство по планированию мощностей с использованием метрик задержки, таких как время до первого токена и межтокеновая задержка, для оптимизации пропускной способности в рамках целевых показателей уровня обслуживания.
aws