能跑120B的笔记本昨晚开卖:文件53GB,峰值75.5GB

源自24位全网作者

08:10

9天前(10月7日),微软办 Windows and Surface 发布会,英伟达的黄仁勋专门到场站台,跟微软的纳德拉同台聊起了笔记本跑大模型这件事。10月16日晚,搭载RTX Spark芯片的5款笔记本首发上市。微软官方对两台机器的口径:本地跑超过120B参数的模型。本地党先别热血,这篇只帮你算三本账。小红书知乎知乎

能跑120B的笔记本昨晚开卖:文件53GB,峰值75.5GB

第一本账:门票不是53GB

这颗芯片型号N1X,CPU最高20核Arm核心、核显最高6144 CUDA核心,LPDDR5X内存最高可选128GB。CPU和GPU共用一份内存池,128GB级别的容量第一次出现在笔记本上。知乎知乎

主角模型是微软的MAI-Code-1.1-Flash,面向软件开发任务的混合专家模型,1370亿总参数、每次推理仅激活约68亿参数。知乎知乎

平均约3.3 bit/权重的混合精度量化,把本地版本体积压到约53GB、比BF16版缩小约80%。知乎

但53GB是文件大小,不是内存占用:微软在Surface Laptop Ultra上的测试数据,开启256K上下文时峰值内存占用可达75.5GB,官方同时建议使用120GB以上内存的设备才有最优体验。脚注原文还有一句:GPU可寻址的最大内存小于总量,系统、应用、推理运行时、KV缓存都要从同一个池子里扣。翻译成人话:128GB统一内存只是入场券,32GB、64GB的普通机器连门框都摸不到。小红书网友拿96G内存实测跑大模型:“的确不算太够,将将可以,内存也满了,风扇也转了”。那还是更小的模型。知乎知乎小红书

能跑120B的笔记本昨晚开卖:文件53GB,峰值75.5GB

第二本账:钱

16日晚晒出的价签很诚实:Surface Laptop Ultra 24GB基础款21988元、128GB顶配48388元;YOGA Pro 15 64GB版29999元、128GB版42999元;华硕创14/16 32GB版18999元、128GB版35999元起。想兑现"120B"的口径,基本只能盯128GB版;迷你Dev Box起售价5999美元、约合4万,现已开放预订、11月向美国客户发货。知乎评论区网友不客气:“3万块买5070”。还有个被忽略的细节:Windows版Dev Box没有ConnectX-7高速组网、背部无高速网口,Linux版"4台并联"的玩法在这台身上是缺失的。这台机器卖的不是偶尔跑一次,是数据不出门、长期驻扎的工作流——只是偶尔写代码的,按量付费API依然便宜得多。知乎知乎知乎知乎

能跑120B的笔记本昨晚开卖:文件53GB,峰值75.5GB

第三本账:干不干活

微软自测口径:SWE-Bench Verified(500项任务)本地量化版70.8%、云端高精度版72.6%,只差1.8个百分点;Terminal-Bench 2.1(89项任务)量化版66.29%反超了高精度版的62.9%。但这全是微软公布的自家测试,第三方复测还没跟上。而且官方表格只给了"读"的速度:预填充吞吐64k上下文923.5 token/秒、128k上下文769.8 token/秒。生成(decode)速度至今没出现在表里——“跑得进"和"跑得快”,目前只证明了前者。对比之下,联想YOGA Pro 15出厂自带35B本地大模型、开箱即用、毫秒级本地响应。那才是大概率真正天天用的档位。知乎知乎知乎

能跑120B的笔记本昨晚开卖:文件53GB,峰值75.5GB

谁现在上车

该看的:要长期本地跑120B+、活在全Windows/Copilot生态里的开发者——微软自己都把它列进"观望"项:月底Copilot本地-云端自动路由的实际体验。别冲动的:decode实测出来之前,别为"120B"三个字直接掏4.8万顶配价。方向是真的:Windows迎来第二种用户,微软与英伟达要让Agent住进你的电脑。千亿下桌是大势,但大势是厂商的,账本才是自己的。知乎微博

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章