英伟达掀桌：原生2-bit把74B压进24GB、训练数据配方全开放——4090党先别急着下，「24GB」只是权重体积

10月15日深夜，英伟达往本地圈扔了两个新模型，这次的动作有点不一样。

不是数据中心卡，不是云端API，是专门冲着"你自己桌子底下那台机器"来的：

• Nemotron 3.5 Bolt 74B-A9B 24GB：740亿参数MoE，每个token只激活90亿，靠原生2-bit量化压进24GB内存，官方定位就是在RTX/DGX Spark和本地机器上跑日常Agent任务，还能"和其他应用并行运行"。首日支持llama.cpp、Ollama、LM Studio、Unsloth、vLLM五个运行时，权重已上Hugging Face和ModelScope。NVIDIA官方博客小红书

• Nemotron 3.5 Super VL：开放的1200亿参数多模态模型，把推理、工具调用和文本/图片/文档/视频理解装进同一个模型。官方口径：在它引用的Artificial Analysis榜单上，100K输入token测试中吞吐最高达同类开源模型的5倍。IT之家

它还不是一个人在战斗——按官方博客的说法，8月的Lightning管高吞吐执行，Ultra管最难推理，Bolt管边缘和本地，一个家族把"从数据中心到桌面"排满了。NVIDIA官方博客

真正让圈里炸锅的是开放程度：不只权重，训练数据、训练配方、强化学习环境全给出来了。新闻稿还点名了GitHub Copilot、OpenClaw、Perplexity、Pi和WorkBuddy的接入。微博上有博主一句话总结了这个月的魔幻对比：Meta的Muse Wonder锁在API后面收4美元一百万token，谷歌的Argon收2美元、缓存另算，英伟达却把训练数据都开源了——用他的原话说，英伟达这一手等于把桌子掀了。微博

为什么说这不是"又一个开源模型"

关注本地部署的朋友知道，英伟达开源模型不是新闻，Nemotron家族从去年12月就一路开下来。关键是这次开到了什么程度、冲着谁来：

第一，原生2-bit不等于"事后压成2-bit"。 前阵子围观过1-bit和Q2量化翻车现场的人都懂这个区别：后量化是训完再硬压，量化感知训练是训练时就把低精度算进去。英伟达在这条路上早有铺垫——Nemotron 3就是混合Mamba-Transformer MoE架构（Mamba层生成时只存固定大小状态，长上下文的KV压力小得多），用NVFP4低精度训练，36氪当时的拆解提到，与BF16相比损失差距控制在1%以内，而且把超过10万亿token的训练数据和配方全放了出来。这次Bolt把同一套"低精度原生训练"思路推到2-bit，理论上质量损耗应该比硬压缩小。注意，是理论上。36氪

第二，后训练全家桶开源。 训练配方、数据、强化学习环境，这套东西对想拿自己业务数据微调的人价值不小——和"只给权重"是两个开放量级。这不是空话：官方发布图里，Super VL经过后训练在文档智能、金融票据提取、医疗保险理赔等5个专项Agent任务上，准确率比基座提升9到44个百分点，多数任务反超了对照的闭源旗舰；Scale AI已经拿它给Skydance的供应商信贷Agent和EY的并购尽调Agent做了后训练。小红书NVIDIA官方博客

第三，它是给Agent设计的，不是给聊天设计的。 Super VL把工具调用和多模态理解装在一个模型里，Bolt直接写明面向本地智能体，连官方预告10月23日发布的Bolt E4B（4GB档），也是冲着本地语音助手、交互角色这类快速对话Agent去的。这瞄准的正是过去一年圈里最热的场景：在自己电脑上跑OpenClaw这类Agent，数据不出本机。IT之家NVIDIA官方博客

先泼冷水：24GB只是权重的体积

发布当晚，微博上就出现了清醒的质疑帖，戳中了要害：

“塞进24GB"不等于"24GB卡随便跑”。 算笔账：740亿参数×2比特≈18.5GB，这是纯权重的理论下限；官方口径的"24GB"是把封装开销都算进去的档位——也就是说权重本身已经基本吃满一张4090，而推理从来不只吃权重，上下文的KV缓存、激活值都得往上叠。用那位博主的话说，24GB只是权重的体积，上下文和KV缓存一上长任务还得往上加。小红书的拆解帖也专门提醒：实际占用还要看上下文和并发。翻译成人话：想开长上下文、想让Agent跑长任务，单张4090大概率不从容。 有个变量值得盯：如果Bolt延续了Nemotron 3的Mamba混合架构，长上下文的KV压力会小不少——但发布材料里没写死，建议直接去翻HF上的模型卡确认。微博小红书

至于跑分，得把口径拆开看。 那位微博博主吐槽"英伟达连一个第三方跑分都没放，说快说聪明全是它自己给自己打分"，这句其实不严谨。官方引用的是Artificial Analysis Intelligence Index榜单，AA本身就是第三方评测机构。但这张榜的两面都要看——吞吐维度上Super VL确实一骑绝尘（约630 tok/s、官方标注"5x Faster"），可智能指数维度上，Super VL是26分、Bolt是21分，在开源阵营里算中游，离榜首的Claude Opus 5.5（58分）、Muse Wonder（56分）还有明显距离。"快"有榜单背书，"聪明"可真不算拔尖，更别提社区独立实测——尤其2-bit QAT的质量损耗、家用卡上长上下文的显存水位——到现在还一份都没有。经历过"748 t/s刷屏、长任务却不可用"那轮讨论的人，都懂官方数字和日常体验之间隔着什么。微博NVIDIA官方博客

顺带一个讨论热度还没跟上来的证据：B站Super VL速览视频下面，目前最显眼的一条评论是——打得过我们OpenPangu吗？那就把这张对比表先摆出来。哔哩哔哩

横着比一比：Bolt站在什么位置

几个判断：

• Bolt纸面上最值钱的不是跑分，是"24GB档位+全家桶开放+首日生态"这个组合。openPangu-2.0-Flash纸面成绩很硬：AIME 2026思考版93.3、LiveCodeBench V6达85.1。但许可证是华为自拟的OpenPangu Model License Agreement v2.0，不是标准开源协议，生态又是昇腾优先——对家里插着4090的人来说，实际门槛反而更高。知乎

• 如果你是前两周刚跟着教程把Qwen3.8-Flash-Next装明白、4090上正跑着140 tok/s的人，今天完全不必拆掉重来。官方自己发的对比图也挺诚实：24GB以下档位里，Bolt的速度（约80 TPS）比Qwen3.8 27B Q4（约30 TPS）快出一大截，但GDPVal智力分反而更低——还是那个词，权衡。哔哩哔哩NVIDIA官方博客

• 真正的分水岭问题只有一个：原生2-bit的质量，到底比后量化好多少。这是整个圈子最近刚集体交过学费的地方，等HF社区把对比跑完，结论自然会有。

不同卡的人，现在该干嘛

• 24GB卡（4090/3090）：权重已经在HF和ModelScope上，Ollama首日就支持，今天就可以拉下来试。但建议先拿自己的真实任务测——Agent工作流、代码库问答——重点盯两件事：工具调用稳不稳，长上下文时显存水位线到哪。别急着把它设成生产默认。

• 16GB及以下：别硬挤24GB的Bolt。10月23日会来一个Bolt E4B（4GB档），官方定位是快速对话Agent——本地语音助手、交互角色这类。注意它是另一个量级的小模型，别指望它是74B的缩水版；16GB卡真正的甜点大概率还是Strata这类压缩方案跑的中型模型。

• Mac Studio/大显存工作站用户：Super VL完整精度版才是给你们准备的。多模态+工具调用+开放的RL环境，价值在"用自己的数据做后训练"，小卡用户不用眼馋。

• 正在用OpenClaw/Copilot这类工具的人：新闻稿点名了你们的工具，说明官方接入路径会很顺。但"支持"和"好用"是两回事，等社区用一两周的反馈再切不迟。

这一周的本地圈，日历排得很满

把镜头拉远一点，这周恰好是"英伟达全家桶押注本地AI"的节点：RTX Spark笔记本10月16日上市，官方口径能跑1200亿参数级模型——这次发布的Bolt，官方明说就是为它准备的。B站上一条"DGX Spark涨到五万多反而卖爆"的开箱视频，这两天也正挂着。36氪NVIDIA官方博客

Mistral那边，据AI日报类视频汇总，万亿参数的Large 4"LeChonk"月底开源权重。再往远看，钛媒体8月援引The Information的报道，英伟达还在推进万亿参数级的Nemotron 4，并拉上了Reflection、Cursor、ThinkingMachines、Mistral组成"Nemotron联盟"。这次Super VL，就是和这个联盟共建的。哔哩哔哩钛媒体NVIDIA官方博客

卖卡的公司开始亲自下场把模型门槛往下压，逻辑并不复杂：开源生态越繁荣，卡卖得越多。AI模型评测机构Arena的CEO那句话点破了本质：无论哪家公司做出优秀的开源模型，英伟达都是赢家。钛媒体

对本地玩家来说，卷起来就是好事。接下来值得盯的三个信号：①HF上Bolt的社区实测，尤其是原生2-bit和后量化的质量对比、长上下文显存水位；②10月23日的Bolt E4B，看4GB档能把对话Agent做到什么程度；③Mistral的LeChonk月底是否如期放权重。

实测出来之前，我的建议就一句：可以先下、可以先玩，但别急着把工作流切过去。