10月15日,就在大家盯着RTX Spark笔记本开卖消息的时候,英伟达悄悄干了件更狠的事:把740亿参数的Nemotron 3.5 Bolt 74B直接开源了——不只是权重,连训练数据、训练配方一起给。知乎微博IT时代网

这有多罕见?同一周,谷歌刚上线的Gemini 4走的是API按量收费,输入每百万token限时五折后收2美元。英伟达却把"在家做饭的锅"直接送了出去,有博主直言这一手等于把桌子掀了。知乎微博
24GB,是什么概念
以前想在本地跑70B级模型,基本是玩票:同规模的稠密模型动辄要140GB以上内存,普通人的机器连门都摸不到。知乎
Bolt 74B把这个数字压到了24GB,靠的是两招:
混合专家架构(MoE):740亿参数像一个大衣柜,每次回答只拉开其中一层抽屉——每个token实际只激活90亿参数;
2-bit量化感知训练:不是训完再压缩,而是训练时就按低精度来,精度损失更小。知乎
24GB是什么水平?4090、3090这档显卡的显存容量,正好摸到这条线。官方明说这模型是给本地智能体准备的,Ollama、LM Studio一键就能跑,GitHub Copilot、Perplexity这些应用也已经接上了。微博
一起来的还有一大家子
同一天发布的还有Nemotron 3.5 Super VL:1200亿参数的视觉语言模型,官方称单GPU跑智能体任务的吞吐量最高提升5倍,它的74B版本同样压缩到24GB。IT之家
10月23日还有一款4GB的边缘模型要上,专门伺候游戏NPC。IT时代网IT之家
再配合16日开卖的RTX Spark笔记本,英伟达的意图很清楚:不管你买不买新机,都得在它家模型生态里玩。知乎

先别急着装,两盆冷水
第一,24GB只是"权重的体积"。上下文一长,KV缓存会持续吃内存,正好24GB显存的卡跑长任务未必塞得下,实际门槛比宣传的要高一点。微博

第二,目前所有性能数据都是英伟达自己给自己打分——官方连一个第三方跑分都没放。快不快、聪不聪明,等社区真拿它跑完一轮再下结论不迟。微博
英伟达为什么突然大方
账其实不难算:模型免费,但跑模型的卡不免费。每一个开源模型,本质上都是显卡的宣传片——本地跑大模型的人越多,卡卖得越动。大摩最新的CIO调研也在印证这条路:45%的企业已经在用开放权重模型,三年后这个比例预计是90%。哔哩哔哩

对普通玩家来说,这反而是好事:本地大模型第一次从"玩票"跨到了"实用"的门槛上。不要订阅、不怕断网、数据不出本机——对医疗、法务这类敏感场景,这是刚需。知乎
至于它到底多强?让子弹先飞一会儿。