1200亿参数大模型"瘦身":英伟达新架构背后的轻量化趋势解读

源自63位全网作者

09:39

"本地跑1200亿参数大模型"过去还是数据中心集群的事,现在落进了一台普通笔记本。10月8日,微软与英伟达在旧金山联合发布Surface Laptop Ultra,搭载英伟达RTX Spark N1X超级芯片,最高配备128GB统一内存,官方称可在本地运行超过1200亿个参数的AI模型。首批机器已于10月16日发货,起售价2599美元。比一台机器更值得关注的,是它背后"瘦身"的两条腿:硬件端,英伟达新架构把CPU、GPU和内存收进同一颗芯片、同一个内存池;模型端,低比特量化把同一款模型的内存占用压到不足一半。智东西微博

一台笔记本里的"新架构":一颗芯片扛起整个内存池

先看芯片。RTX Spark超级芯片结合了最高20核的Grace CPU和最高6144核的Blackwell RTX GPU,CPU与GPU连接速度600GB/s,FP4 AI算力达到1个PetaFLOP,统一内存最高128GB。真正的关键变化是统一内存:传统PC里,CPU内存和显卡显存是两个池子,模型一旦大于显存就装不下;统一架构下GPU可以直接动用全部128GB内存,千亿级参数第一次能整体常驻在一台设备里。黄仁勋在现场的对比更直白:当年开启AI革命的DGX-1超级计算机,算力也是1个PetaFLOP,如今同级别的算力进入了笔记本。智东西36氪

效率的另一面是微软给出的对比口径:相比搭载M5 Pro芯片的16英寸MacBook Pro,RTX Spark Windows PC首token时延效率2.1倍、AI图像生成速度4.3倍、AI视频生成速度6.2倍。需要留意的是,这些数字来自厂商自家测试,并非第三方独立评测。智东西

"瘦身"的另一半:参数没少,精度少了

算一笔内存账:1000亿参数模型的FP16权重需要约200GB内存,量化到8位或4位后分别约需100GB和55GB。照这个比例,1200亿参数模型量化到4位后约60GB出头,128GB统一内存刚好装下并给上下文留出余量——"瘦身"瘦的不是参数个数,而是每个参数占的精度。新彭咨询

发布会同步披露的两个样本说明量化已卷到极低比特:英伟达即将推出的新Nemotron模型超过700亿参数,2bit量化后仅需略高于20GB内存。一个2840亿参数的DeepSeek-V4 Flash模型按1.6bit量化,仅需60GB内存即可在本地运行,官方称在编程和推理基础测试中超过GPT-5。“超过GPT-5"只在特定测试集成立,不代表全面更强,但它说明低比特模型已不只是"能跑的缩水版”。36氪智东西

社区方向也在同步压缩:开源推理引擎Strata让一台带NVIDIA显卡的普通游戏电脑跑起1250亿参数的Qwen3.8-Flash-Next。不过这类技术省下的是显存,不一定省下时间,一个同方向的开源项目干脆把这层账写进了标题:省下来的是显存,不是时间。知乎知乎

整条产品线都在把大模型搬回本地

Surface Laptop Ultra不是终点。英伟达同台推出的DGX Station for Windows是首款把GB300 Grace Blackwell级基础设施引入Windows生态的桌面级超算,提供748GB一致性内存和最高20 PetaFLOPS的FP4算力,可在本地运行万亿参数规模的前沿模型,包括Kimi K2.6、DeepSeek-V4 Pro等。华硕、戴尔、惠普、联想、微星的RTX Spark整机同批开启预订,Surface RTX Spark Dev Box开发者主机起售价5999美元、11月向美国客户发货。智东西

英伟达连自家的渲染模型也在瘦身:DLSS 5神经渲染模型在10月更新中缩减24%、降至约1.18亿个参数,4K下显存占用降低20%。官方口径下,这相对3月原始演示已是半年内提速10倍。芯片、模型、渲染栈,同一家公司在三个层面同时做减法,方向的一致性比单个产品更有信号意义。知乎36氪

趋势不止一台PC

Windows端微软给出了存量盘:超过40%的商用笔记本已是Copilot+ PC,每月有超过2万亿次推理在Copilot+ PC上本地运行。手机端的目标更激进:高通CEO安蒙向媒体透露,部分前沿AI公司已向高通提出目标,希望在2028年前让手机持续运行至少1000亿参数的大模型。但从55GB到装进口袋之间,还隔着容量、带宽和散热的整代差距,这个目标目前只能理解为芯片路线图的方向,而非近在眼前的体验。智东西橡树财经

谁付钱,谁受益

价格是第一道门槛:入门版24GB内存与跑千亿模型无缘,家庭版只有24GB内存,专业版可选32GB到128GB,128GB顶配价格达5899.99美元。知乎相关话题下也有更直接的质疑:谁真的需要在一台个人电脑上跑1200亿参数的大模型?答案非常狭窄。对多数用户,云端服务足够便宜;本地执行的真实收益集中在三类场景——数据不上云、断网可用、首token延迟可控,恰好对应开发者、内容创作者和隐私敏感行业的付费理由。智东西知乎

普通用户不必为它急着换机,值得盯的是三个观察点:今天起的首批发货实测里,本地跑千亿模型的真实token速度;2bit、1.6bit量化模型在测试集之外的真实损耗;以及更多千亿级开源模型是否会跟进发布官方低比特版本。"瘦身"的真实含义不是把模型做小,而是把用模型的门槛做小——门槛降下去的速度,最终取决于模型和应用的生态,而不仅是这颗芯片。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章