Il Nemotron 3.5 Super VL di Nvidia è un modello aperto progettato per far funzionare gli agenti AI aziendali senza sosta
decoder ·
Nvidia ha rilasciato Nemotron 3.5 Super VL, un modello multimodale open source con 120 miliardi di parametri, progettato per attività continue di agenti AI aziendali. Costruito utilizzando un'architettura Mixture-of-Experts, il modello attiva solo 12 miliardi di parametri per token per ottimizzare l'efficienza durante l'elaborazione di testo, immagini e documenti. Nvidia ha inoltre presentato due varianti più piccole della serie Bolt: una versione da 74B-A9B per macchine locali con 24 GB di memoria e un modello compatto da 4 GB destinato agli assistenti vocali. L'azienda afferma che Super VL raggiunge la stessa accuratezza del suo predecessore Ultra, ma opera con un quinto dei parametri e un throughput significativamente maggiore su hardware Nvidia. Per migliorare le prestazioni, Nvidia utilizza tecniche di compressione a 4 bit e caching che riducono la latenza e consentono al modello di servire un numero maggiore di utenti contemporanei. I primi utilizzatori nei settori finanziario e della cybersecurity stanno già effettuando il fine-tuning del modello per casi d'uso specifici, come il rilevamento delle frodi e l'analisi delle vulnerabilità. Sebbene i pesi e i dataset di addestramento siano disponibili pubblicamente, i modelli rimangono fortemente ottimizzati per i chip e i sistemi proprietari di Nvidia.
decoder