英伟达的 Nemotron 3.5 Super VL 是一款专为不间断运行企业 AI 代理而构建的开源模型
decoder ·
英伟达发布了Nemotron 3.5 Super VL,这是一款拥有1200亿参数的开源多模态模型,专为持续运行的企业AI代理任务而设计。该模型采用混合专家(Mixture-of-Experts)架构,在处理文本、图像和文档时,每个令牌仅激活120亿个参数,从而优化效率。英伟达还推出了两个较小的Bolt变体:一个适用于配备24GB内存本地设备的74B-A9B版本,以及一个面向语音助手的紧凑型4GB模型。该公司声称,Super VL在精度上与其更大的Ultra前身相当,但参数量仅为后者的五分之一,且在英伟达硬件上的吞吐量显著提高。为提升性能,英伟达采用了4位压缩和缓存技术,以降低延迟并支持更多并发用户。金融和网络安全领域的早期采用者已开始针对欺诈检测和漏洞分析等特定用例对该模型进行微调。虽然模型的权重和训练数据集已公开可用,但这些模型仍深度优化以适配英伟达的专有芯片和系统。
decoder