Nvidias Nemotron 3.5 Super VL ist ein offenes Modell, das für den Dauerbetrieb von Unternehmens-KI-Agenten entwickelt wurde
decoder ·
Nvidia hat Nemotron 3.5 Super VL veröffentlicht, ein offenes multimodales Modell mit 120 Milliarden Parametern, das für kontinuierliche Aufgaben von Unternehmens-KI-Agenten konzipiert ist. Das auf einer Mixture-of-Experts-Architektur basierende Modell aktiviert pro Token nur 12 Milliarden Parameter, um die Effizienz bei der Verarbeitung von Text, Bildern und Dokumenten zu optimieren. Nvidia stellte zudem zwei kleinere Bolt-Varianten vor: eine 74B-A9B-Version für lokale Maschinen mit 24 GB Speicher sowie ein kompaktes 4-GB-Modell, das auf Sprachassistenten abzielt. Das Unternehmen behauptet, dass Super VL die Genauigkeit seines größeren Vorgängers Ultra erreicht, jedoch mit einem fünftel so vielen Parametern und einer deutlich höheren Durchsatzrate auf Nvidia-Hardware arbeitet. Zur Leistungssteigerung setzt Nvidia auf 4-Bit-Komprimierung und Caching-Techniken, die Latenz reduzieren und es dem Modell ermöglichen, mehr gleichzeitige Nutzer zu bedienen. Erste Anwender aus den Bereichen Finanzen und Cybersicherheit feintunen das Modell bereits für spezifische Anwendungsfälle wie Betrugserkennung und Schwachstellenanalyse. Obwohl die Gewichte und Trainingsdatensätze öffentlich zugänglich sind, bleiben die Modelle stark auf Nvidias proprietäre Chips und Systeme optimiert.
decoder