Le Nemotron 3.5 Super VL de Nvidia est un modèle ouvert conçu pour faire fonctionner des agents d'entreprise en continu
decoder ·
Nvidia a lancé Nemotron 3.5 Super VL, un modèle multimodal ouvert de 120 milliards de paramètres conçu pour des tâches d'agents IA en entreprise fonctionnant en continu. Construit sur une architecture Mixture-of-Experts (MoE), le modèle n'active que 12 milliards de paramètres par token afin d'optimiser l'efficacité lors du traitement de textes, d'images et de documents. Nvidia a également présenté deux variantes Bolt plus petites : une version 74B-A9B destinée aux machines locales disposant de 24 Go de mémoire, et un modèle compact de 4 Go ciblé pour les assistants vocaux. L'entreprise affirme que Super VL atteint la même précision que son prédécesseur Ultra, plus volumineux, mais avec cinq fois moins de paramètres et un débit significativement supérieur sur le matériel Nvidia. Pour améliorer les performances, Nvidia utilise la compression 4-bit et des techniques de mise en cache qui réduisent la latence et permettent au modèle de servir davantage d'utilisateurs simultanés. Les premiers adoptants dans les secteurs de la finance et de la cybersécurité affinent déjà le modèle pour des cas d'utilisation spécifiques tels que la détection de fraude et l'analyse des vulnérabilités. Bien que les poids et les jeux de données d'entraînement soient disponibles publiquement, les modèles restent fortement optimisés pour les puces et systèmes propriétaires de Nvidia.
decoder