Открытая модель Nemotron 3.5 Super VL от Nvidia создана для непрерывной работы корпоративных ИИ-агентов
decoder ·
Nvidia выпустила Nemotron 3.5 Super VL — открытую мультимодельную модель с 120 миллиардами параметров, предназначенную для непрерывной работы корпоративных ИИ-агентов. Модель построена на основе архитектуры Mixture-of-Experts и активирует только 12 миллиардов параметров на токен, что оптимизирует эффективность при обработке текста, изображений и документов. Nvidia также представила две более компактные версии Bolt: версию 74B-A9B для локальных машин с 24 ГБ памяти и урезанную 4 ГБ модель, ориентированную на голосовых помощников. Компания утверждает, что Super VL демонстрирует точность, сопоставимую с её более крупной версией Ultra, но работает с в пять раз меньшим количеством параметров и значительно большей пропускной способностью на оборудовании Nvidia. Для повышения производительности Nvidia использует техники 4-битного сжатия и кэширования, которые снижают задержки и позволяют модели обслуживать больше одновременных пользователей. Ранние пользователи из сферы финансов и кибербезопасности уже дообучают модель для конкретных задач, таких как обнаружение мошенничества и анализ уязвимостей. Хотя веса и обучающие наборы данных доступны открыто, модели остаются сильно оптимизированными под проприетарные чипы и системы Nvidia.
decoder