美东时间10月15日，英伟达把 Nemotron 3.5 Bolt 放上货架：MoE 架构，总参数 74B、每个 token 只激活约 9B，用 2-bit 量化感知训练压进 24GB，权重、训练数据和配方一次交齐，llama.cpp、vLLM、Ollama、LM Studio 当天即支持。主流显卡用户最关心的问题是：能不能流畅跑。先给结论——第三方能力评分已经在发布当天落地，但面向消费级显卡的实际输出速度，截至发稿还没看到公开的本地实测；而且 24GB 只是权重包的门槛，不是流畅运行的保证，同容量显卡能否直接跑起来，还要匹配硬件、软件和上下文设置。小红书小红书
74B是仓库，9B是干活的
MoE 把模型拆成两本账：总参数决定要存多少权重，激活参数决定每个 token 计算多少。Bolt 的总参数 74B、每次计算激活约 9B，激活少不代表其余权重不用存，整个 24GB 得先完整驻留才能开工；压缩的钥匙在量化——专家权重采用原生 2-bit 存储，部分其他层保留较高精度。同家族的例子摆在前面：今年 8 月发布的 Nemotron 3.5 Lightning 总共 30B 参数、只激活 3B，Ollama 模型包仍有约 25GB——激活降低的是每步计算量，省不掉要保存的权重。小红书小红书
这张显卡能不能跑，看三笔账
24GB 是官方对特定 2-bit 量化版本的说明，不等于任意上下文、并发和软件环境下的总占用保证。第一笔是权重：24GB 只是权重的家，实际运行还要算缓存，8GB 显存的机器基本没戏。第二笔是上下文：Bolt 的上下文窗口标到 256K token，支持视觉与文本输入，文本输出。上下文越长、KV 缓存越肥，24GB 显卡装完权重后剩余的空间就越捉襟见肘——能装下和跑得爽之间隔着的正是这一段余量。第三笔是卸载：16GB 及以下的卡装不下全部权重，只能把专家权重放进内存，每个 token 都要跨 PCIe 搬运所需专家，激活只有 9B 也架不住带宽瓶颈，速度会掉出"流畅"区间；32GB 显存（RTX 5090 一档）是目前消费级单卡里最稳的选择，24GB 卡（3090、4090）则是能跑但要主动限制上下文与并发的入门线。小红书小红书小红书
官方速度数字，先别套到自己卡上
速度方面目前唯一有体感的社区数据来自前代：有团队在 DGX Spark 上实测 Lightning，单机 79.59 tok/s，加推测解码到 115.75，并发 8 能跑到 421.85——那是 3B 激活的成绩，Bolt 每 token 的计算量接近三倍，同一台机器上的数字会相应下探。同日宣传里更醒目的吞吐量数字属于另一个模型：官方称 Super VL 单 GPU 智能体任务吞吐量最高提升 5 倍。官方结果里的"输入 100K token 时输出速度超过 600 token/s"，则是在 Baseten 云端端点测出的 120B 旗舰 Super VL 成绩。云端旗舰的速度、单卡吞吐的倍数，都不能直接换算成你那张 4090 上的 tokens/s。抖音IT之家小红书
实测刚开始，值得盯的三个数字
第一个数字是真实输出速度：不同容量显卡上短上下文、长上下文各能跑多少，官方对比图不能代替实际测试。第二个是质量折价：实际每次跑的是 9B 激活、2-bit 压缩后的版本，效果不等于未压缩的 74B，代码、长文和视觉输入要在自己任务上复测。第三个是第三方榜单，这条已经落地：Artificial Analysis 在发布当天把 Bolt 列入 Intelligence Index，得分 21，比 550B 旗舰 Nemotron 3 Ultra 低 1.5 分，而它的参数量只有后者的约七分之一——对一张 24GB 量级的包来说，这是目前分量最重的第三方评分。小红书小红书小红书
这台 24GB 模型赶上了它的舞台：英伟达与微软宣布，搭载 RTX Spark 超级芯片的笔记本于 10 月 16 日上市。英伟达同日还同步推出两款边缘模型，其中一款定在 10 月 23 日发布，门槛有望再下一城。所以"压至 24GB"真正回答的问题是仓库能不能装下，流畅与否要等社区把每张卡的实测数字摆出来——有 32GB 单卡或 RTX Spark 整机的用户可以低成本先跑，手里是 24GB 显卡的，不妨等速度帖和缓存余量被验证之后再决定要不要为它升级硬件。IT时代网IT之家
