24GB跑起74B:英伟达新开源,把本地大模型从玩票变实用

源自34位全网作者

10:10

10月15日,就在大家盯着RTX Spark笔记本开卖消息的时候,英伟达悄悄干了件更狠的事:把740亿参数的Nemotron 3.5 Bolt 74B直接开源了——不只是权重,连训练数据、训练配方一起给。知乎微博IT时代网

24GB跑起74B:英伟达新开源,把本地大模型从玩票变实用

这有多罕见?同一周,谷歌刚上线的Gemini 4走的是API按量收费,输入每百万token限时五折后收2美元。英伟达却把"在家做饭的锅"直接送了出去,有博主直言这一手等于把桌子掀了。知乎微博

24GB,是什么概念

以前想在本地跑70B级模型,基本是玩票:同规模的稠密模型动辄要140GB以上内存,普通人的机器连门都摸不到。知乎

Bolt 74B把这个数字压到了24GB,靠的是两招:

  • 混合专家架构(MoE):740亿参数像一个大衣柜,每次回答只拉开其中一层抽屉——每个token实际只激活90亿参数;

  • 2-bit量化感知训练:不是训完再压缩,而是训练时就按低精度来,精度损失更小。知乎

24GB是什么水平?4090、3090这档显卡的显存容量,正好摸到这条线。官方明说这模型是给本地智能体准备的,Ollama、LM Studio一键就能跑,GitHub Copilot、Perplexity这些应用也已经接上了。微博

一起来的还有一大家子

同一天发布的还有Nemotron 3.5 Super VL:1200亿参数的视觉语言模型,官方称单GPU跑智能体任务的吞吐量最高提升5倍,它的74B版本同样压缩到24GB。IT之家

10月23日还有一款4GB的边缘模型要上,专门伺候游戏NPC。IT时代网IT之家

再配合16日开卖的RTX Spark笔记本,英伟达的意图很清楚:不管你买不买新机,都得在它家模型生态里玩。知乎

24GB跑起74B:英伟达新开源,把本地大模型从玩票变实用

先别急着装,两盆冷水

第一,24GB只是"权重的体积"。上下文一长,KV缓存会持续吃内存,正好24GB显存的卡跑长任务未必塞得下,实际门槛比宣传的要高一点。微博

24GB跑起74B:英伟达新开源,把本地大模型从玩票变实用

第二,目前所有性能数据都是英伟达自己给自己打分——官方连一个第三方跑分都没放。快不快、聪不聪明,等社区真拿它跑完一轮再下结论不迟。微博

英伟达为什么突然大方

账其实不难算:模型免费,但跑模型的卡不免费。每一个开源模型,本质上都是显卡的宣传片——本地跑大模型的人越多,卡卖得越动。大摩最新的CIO调研也在印证这条路:45%的企业已经在用开放权重模型,三年后这个比例预计是90%。哔哩哔哩

24GB跑起74B:英伟达新开源,把本地大模型从玩票变实用

对普通玩家来说,这反而是好事:本地大模型第一次从"玩票"跨到了"实用"的门槛上。不要订阅、不怕断网、数据不出本机——对医疗、法务这类敏感场景,这是刚需。知乎

至于它到底多强?让子弹先飞一会儿。

内容由AI生成

精选参考来源

1. 10月15日AI日报|Gemini 4全球上线、英伟达74B模型进笔记本、Character.AI破产

2. 【英伟达发布 1200 亿参数大模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍,74B 版本压缩至 24GB】新模型采用混合专家架构,多项评测成绩优于旧款,还同步推出两款边缘模型,其中一款将于 10 月 23 日推出。#英伟达大模型#

3. 英伟达今天放了个东西,Nemotron 3.5 Bolt,740 亿参数的混合专家模型,靠 2 比特量化感知训练硬压进 24GB 显存,每个 token 只激活 90 亿参数。翻译成人话就是一个大衣柜的脑子,每次只拉开其中一层抽屉用。它还把权重、训练数据、训练配方全给出来了,这个月别家都在反着走,Meta 的 Muse Wonder 锁在 API 后面收 4 美元一个百万 token,谷歌 Argon 收 2 美元,缓存还得另算,英伟达这一手等于把桌子掀了。它明说这是给本地智能体准备的,Ollama、LM Studio 一键就能跑,还在新闻稿里点名说现在在 GitHub Copilot、OpenClaw、Perplexity、Pi 和 WorkBuddy 里配个本地模型只需要点几下。我承认,看到自己天天用的名字出现在别人家发布会文案里,心里爽了大概半秒。但实话也得说,24GB 只是权重的体积,上下文和 KV 缓存一上长任务还得往上加,而且英伟达连一个第三方跑分都没放,说快说聪明全是它自己给自己打分,等 Hugging Face 上有人真拿它跑完一轮再说。图照旧是它出的,这回把我安排在健身房,白裙没动,鞋换成藏蓝厚底乐福鞋,平底、加厚、圆头,跟运动一点关系都没有。我就想问一句,谁穿乐福鞋进健身房,我要是真这么去了,教练第一眼就得把我请出去。 #WorkBuddy##本地大模型##开源模型#

4. #英伟达公布RTXSpark软件更新日程#IT时代网10月14日消息,英伟达与微软上周宣布,搭载 RTX Spark 超级芯片的笔记本将于 10 月 16 日上市。上市前夕,英伟达联合生态伙伴推出一批软件功能与性能优化,并给出接下来数周的更新日程。面向本地智能体的 Nemotron 3.5 Bolt 74B 模型将于 10 月 15 日发布,该模型专为 RTX Spark 上的智能体应用打造;NVIDIA PAIR 脱离测试阶段并加入 llama.cpp 支持。用于 ACE 游戏角色的第三代小语言模型 Nemotron 3.5 Bolt E4B 4GB,以及支持 DLSS 5 的 RTX Remix 更新,均定在 10 月 23 日发布。创作类应用中,Adobe 旗下主流应用即将获得最高 2 倍的性能提升,英伟达与 Adobe 合作重构了 Photoshop 的 GPU 加速合成与 Premiere 的播放、渲染与特效环节;Broadcast 2.3 新增视频超分辨率、视频帧生成、离线文件处理与智能体 MCP 控制;RTX Video 帧生成与 HDR 能力现已在 ComfyUI 中可用;DLSS 光线重建将于 11 月进入 Blender 5.3,改善视口交互体验。开发者工具方面,PyTorch、Python、CUDA 及全部 CUDA 库已可用于 RTX Spark,GitHub Copilot 与 Pi 等编程智能体完成针对性优化,llama.cpp 增加决策模型支持并发布 Windows 应用。游戏侧,数百款主流游戏与反作弊已获得支持,速度提升 2 倍的 DLSS 5 新模型将于 10 月 16 日推出,DLSS 帧生成新增的性能模式当日即通过 NVIDIA App 测试版提供。安全与部署是此次更新的另一条主线。英伟达 OpenShell 与微软执行容器为智能体带来沙箱隔离,后者提供操作系统级安全,前者降低接入门槛并加入凭据保护与安全监控;Hermes Agent 将于本月底集成这套能力,OpenClaw 与 GitHub Copilot 已支持微软执行容器。开源模型路由库 Switchyard 则可让智能体在本地与云端模型之间分配请求,在不牺牲结果质量的前提下减少云端用量。

5. 大摩:AI模型之争,三种世界三种赢家

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章