北京时间 10 月 15 日晚,英伟达官宣开源 Nemotron 3.5 Super VL:一款 1200 亿参数、面向智能体的多模态模型,官方标题里的卖点是"单 GPU 智能体任务吞吐量最高提升 5 倍、74B 版本压缩至 24GB"。 官方博客的说法更直接:它是同类尺寸中最快的开源智能体模型,比档位里次强的开源模型快 5 倍,帮企业智能体更快跑完那些以天、周计的长任务。IT之家英伟达官方博客
"5 倍"的分母:比谁快 5 倍
先把数字读准。这个 5 倍不是比上一代 Nemotron 3 Super 快 5 倍,也不是单轮对话响应提速 5 倍——对比对象是同尺寸档位的其他开源模型,口径是单张 GPU 上跑智能体任务的吞吐,也就是读文档、核来源、调工具、多轮往返这类长链路工作流里,机器能同时完成多少任务、多快完成。官方给的速度画像还包括:在 Artificial Analysis 智能指数任务上,经 Baseten 端点达到每秒超过 600 个 token。英伟达开发者博客
快来自工程压缩,不是芯片玄学
架构层面,它是总参数 120B、每个 token 只激活 12B 的混合专家(MoE)模型,官方称多项评测成绩优于旧款。 剩下的大头提升藏在推理侧的一整套组合拳里:IT之家
投机解码:新开源方法 LiLiCorr 不再逐 token 独立猜测,而是对整段草稿的候选联合打分,官方称在 DGX Spark 上比不做投机时生成快最高 2.3 倍;
4 位量化:NVFP4 方案在 Blackwell 平台把权重和激活压到 4 位,量化感知蒸馏(QAD)在训练期就把精度损失补回来,推理时不增加开销;非 Blackwell 平台可跑 4 位权重、16 位激活的变体。
内部草稿头与上下文复用:多 token 预测让模型一次提出多个 token 供主模型验证;前缀缓存则接住了智能体反复回传的系统提示、工具定义和历史记录,服务端同时保留注意力缓存与 Mamba 状态,多轮场景少做重复功。
快没以"变笨"为代价
按官方评测,它在 Hermes Bench 得分 63.44%、LangChain 行为评测 87.05%,两项都超过了大一档的旗舰推理模型 Nemotron 3 Ultra(56.33%、84.3%);图表理解基准 CharXiv 得 80.8%,允许执行 Python 代码解读时到 84%;官方还称其精度对标英伟达最大的推理模型,而总参数只有约五分之一。目前少见的第三方佐证来自 EXO Labs:在 DGX Spark 的独立评测里,它站在"精度—任务完成时间"的帕累托前沿上。英伟达开发者博客
对用户意味着什么:企业账单与 24GB 显存
企业侧,官方披露的案例给出量级:Scale AI 用它后训练供应商信用审批流程,预计推理成本降 40 倍、延迟降 5 倍;金融平台 Ramp 用它把小票照片转结构化数据,预期吞吐高约 50%、延迟低 10 倍——前提是愿意用自有数据做后训练,而权重、训练配方和数据集(含 40 个视觉语言数据集)都已开放。
端侧更贴近普通玩家:同场发布的 Bolt 74B-A9B 用原生 2-bit 量化把 740 亿参数模型压进 24GB 显存,官方定位是在 RTX、DGX Spark 上本地跑日常智能体任务,vLLM、Ollama、LM Studio 等工具链即时可用。 Super VL 与 Bolt 74B-A9B 已可下载,更小一档、面向语音与嵌入式智能体的 Bolt E4B 定在 10 月 23 日推出。至此,Nemotron 3.5 家族用 Super VL、Bolt、Lightning、Ultra 四款模型把部署范围从数据中心一直铺到笔记本和 Jetson。英伟达官方博客
边界:这些数字还带着"官方"两个字
5 倍是"最高值",成立条件是单 GPU、同尺寸档位开源模型之间、智能体工作流下的吞吐;2.3 倍、40 倍、各家评测成绩目前大多出自英伟达及其伙伴的官方口径,第三方系统性复测还没跟上,引用时留意时间边界(本稿核对于 10 月 16 日晨,Bolt E4B 尚未发布)。知乎上关于"英伟达发布开源视觉语言模型 Nemotron3.5SuperVL,有哪些技术亮点与实际影响?"的提问已经挂出,跑分和真实部署表现很快会被社区复现验证。知乎