10月15日，英伟达把 Nemotron 3.5 系列的端侧新成员开源，卖点直接写进了型号：Nemotron 3.5 Bolt 74B-A9B 24GB——740 亿参数、每 token 只激活 90 亿，靠原生 2 比特量化把模型压进 24GB 内存、与其他应用并跑。官方技术报告同时说清了它的来历：不是从零训练，而是把 1200 亿参数的母模型 Nemotron 3.5 Super VL 压缩成 74B、激活参数从 12B 降到 9B，每个 token 的路由专家数从 22 个减到 9 个。之后用量化感知蒸馏把权重压到 2.06 比特，再用一个 11.3 亿参数的投机解码草稿模型把速度抬到 84 token/秒左右。这三步，就是想照抄"本地大模型量化"的人该带走的完整路径；但哪些数字能抄、哪些不能，得逐个拆开看。NVIDIA官方博客NVIDIA技术报告
名字里的"24GB"是总内存的设计目标，不是 24GB 显卡的门槛
最容易误读的正是这个数字。权重文件 22GB 只是运行时占用的一部分：KV cache、约 998MB 的草稿模型（还要再吃 1–2GB）、图像视频输入的视觉缓存都在 24GB 之外。Unsloth 的部署文档给出的估算是：短上下文最低要 24–32GB 总内存，稳妥起见按 32GB 预算、48–64GB 更从容，上下文一长、一上多模态就还得再加。NVIDIA 实测 84 TPS 的那台参考机，是 128GB 统一内存的 RTX Spark 笔记本（Surface Laptop Ultra，Windows 11 ARM），测试用 llama.cpp 完成。这个平台最高可以把 96GB 系统内存划给 GPU 当显存。所以对"24GB 显存要不要也升级"的直接回答：把 IQ2_XXS 权重全塞进一块 3090/4090，显存就基本见底，留给上下文的余量趋近于零；把专家层卸载到系统内存能跑，但共享内存带宽会把解码速度打回原形。Unsloth文档NVIDIA技术报告知乎
另一个别搞混的文件：官方还开源了未量化的 BF16 权重，那是留给后训练微调的起点——74B 以 BF16 存放，权重层面就近乎 150GB，不要拿它去做推理。NVIDIA技术报告
2 比特没把模型压坏：因为这是"训练出来的 2-bit"
官方没有一刀切，而是"看人下菜"：占权重大头的路由/共享专家 FC 层，量化到 2.0625 比特的 IQ2_XXS；Mamba 线性层给到 NVFP4；嵌入、注意力、输出层保持 Q8_0；并且只量化权重——理由是 RTX/DGX Spark 上的执行本来就受权重带宽支配。精度不是靠运气保住的：压缩后追加了多阶段后训练和模拟环境强化学习，量化则采用量化感知蒸馏（QAD）。NVIDIA技术报告
报告给出的结论有点反直觉——同样的内存预算下，把大模型压到 1–2 比特，比从零训练小模型再做 4 bit 量化更接近帕累托最优，官方称其在产品中复现了这一判断。NVIDIA技术报告
榜单上 Bolt 74B 在 PinchBench 排同类第一、WebArena 和 BrowseComp 排同类第二，但比较口径要盯准：对手是"同样能装进 24GB、做了 4 bit 量化的模型"，不是同规格的全精度版。这也解释了为什么"随便找个 74B 自己 round 到 2 bit"大概率会坏掉——2-bit 能用的前提是 QAD 和恢复训练，不是位宽本身。NVIDIA技术报告
84 TPS 的标题好看，端到端跑任务 4-bit 小模型反而先交卷
速度是 Bolt 最亮也最容易吹过头的一项。NVIDIA 给 Bolt 定的目标就是：装进 24GB 内存的同时解码不低于 80 TPS，靠自研 LiLiCorr 投机采样草稿模型在 RTX Spark 上用 AIPerf SPEED-Bench 跑到 84 TPS。NVIDIA技术报告
但同一份报告的对比表里，两款 4-bit 量化竞品——Qwen3.6 35B-A3B 和 Gemma 4 26B-A4B——分别跑出 96.63 和 100.56 TPS；端到端智能体任务回放下，Bolt 用了 600.80 秒，它们只要 453.97 和 480.68 秒。官方把 Bolt 的定位说得很直白：小模型里"速度与智能的平衡点"。 要最快完成任务，4-bit 小模型更合适；要有限内存内最强能力，才是 Bolt 的位置。投机解码的加速主要兑现在低并发本地交互，并发一高收益缩水；而平台侧的天花板更直接：RTX Spark 的 LPDDR5X 统一内存峰值带宽 300GB/s、稳定约 273.2GB/s，长上下文的 KV cache 与图形负载都要抢这条共享带宽。NVIDIA技术报告知乎
真正容易踩的坑在系统侧：工具链与 Windows on ARM
部署先对号入座：官方量化权重为 RTX Spark（llama.cpp/GGUF）和 DGX Spark（vLLM）两条路径分别调优，Hugging Face 上的版本已支持 llama.cpp、Ollama、LM Studio、Unsloth 与 vLLM。上下文上限 128K，但部署文档建议从 4K 起步、随内存逐步放宽——KV cache 是按长度线性吃内存的；且 NVIDIA 尚未公布 Bolt 专属的采样参数，网络上的 temperature/top-p 设置都只能算经验值，别当标准答案抄。更现实的坑是平台：参考机运行 Windows 11 ARM，x86/x64 程序经 Prism 兼容层转译，GPU 代码本身不需要转译，但《微型计算机》的评测机仍遇到 GPU-Z 等一批 x64 工具无法运行的情况。依赖老旧行业软件、加密狗、特殊外设的用户，建议先线下实机验证再决定是否下单。NVIDIA官方博客Unsloth文档知乎
买不买、何时买：三个档位和两个时间点
发布节奏与价格已经明确：RTX Spark 笔记本 10 月 16 日（今天）全球上市，首批覆盖多家主流 PC 厂商，起售价约 1.75 万元。对普通用户的实际意义在于：一部分智能体推理可以从按量付费的云 API 挪到一次买断的机器上，医疗、法务这类数据不能出本机的场景受益最直接。快科技知乎·AI不焦虑
但产品线其实分三档：1200 亿参数的 Super VL 面向服务器与工作站，IT之家报道称其单 GPU 智能体任务吞吐量最高提升 5 倍。74B 的 Bolt 是给本地智能体留的主菜；面向 GeForce RTX 与 Jetson 的 4GB 级轻量对话模型 Bolt E4B 则要等到 10 月 23 日才上线。只需要语音助手或轻任务的，不必现在为 1.75 万买单；只需要云端最强智能体的，也不必为"74B"心动。IT之家NVIDIA官方博客
最后交代边界：以上精度与速度数据均出自发布当天的 NVIDIA 官方材料，独立的第三方实机复测尚未铺开，"2 比特的 74B"在真实编码、浏览和长任务里的成色，值得再观察一两周。社区对这条路线本身仍有明显分歧——有人盯着统一内存和 NVFP4 看到"常驻端侧大模型"的拐点，也有评测把 Windows on ARM 兼容性与带宽视为这台机器真正的短板。无论哪种判断，先看清自己的内存预算和负载类型，再决定要不要上这条 24GB 的车。
