什么值得买App下载 App ›
连续签到专享现金活动

145B跑进24G显卡?先别急着追Edge0的热乎,看实测数字

11月12日,Edge0团队开源了145B和120B,卖点一句话:千亿参数,一张24G游戏卡能跑。评论区直接热闹起来:我的24G卡平时跑27B都喘,现在145B能塞进来?知乎小红书

我把官方模型卡、两篇真机实测长文和评论区翻了一遍,给你一份不吹不黑的版本。

它是怎么塞进去的:专家没全住显存

Edge0是真MoE:145B总参数,每个token只激活其中一小撮专家。传统思路是把全家都搬进显存或内存;Edge0把"热专家"常驻,剩下的躺在内存和SSD里,引擎靠预测路由提前猜下一个token要用哪些专家,趁当前token还在算就从SSD预取。官方论文名字起得很直白:The Other Half of the Memory Wall。所以它的峰值占用看"激活集",不看总参数。这话本身没错,但后半句没人提。知乎小红书

145B跑进24G显卡?先别急着追Edge0的热乎,看实测数字

三个要泼的冷水

第一盆:"29GB峰值内存"是营销口径。已有日文博主实测拆穿:29GB只算了活跃部分,实际整机占用54GiB。内存没消失,只是换了个地方躺着。32GB内存的机器,第一堵墙不是显卡,是这个。知乎

145B跑进24G显卡?先别急着追Edge0的热乎,看实测数字

第二盆:预填充才是隐藏瓶颈。评论区有网友说,自己两张5060 Ti在原版Strata上预填充能跑到2800 tok/s,但他看到的Edge0预填充数字只有几百。聊天感受不明显,拿去做编程Agent后端就露馅。实测者算过一笔账:Agent的系统提示词约11000 token,他那台迷你主机预填充只有11.5 tok/s,敲一个问题要白等16分钟才见第一个字。知乎

第三盆:AMD和核显用户这次没被邀请。145B/120B档只支持NVIDIA CUDA,AMD平台上限只有35B档,而且那是9月的preview版,官方模型卡自己承认Agent能力弱。更扎心的细节:Vega核显开Vulkan预填充不升反降,解码从4.27 tok/s掉到2.93,引擎日志里80次GPU↔CPU交接全在拖后腿。核显用户,老老实实纯CPU。知乎

速度数字,目前全是官方自报

官方口径:5090D 24G跑到121 tok/s,4090是91.7,最低预算档16G显存+20G内存给到44.9。注意,这些数字都来自官方,第三方复现目前只有寥寥几篇,清一色在4090/5090和M2 Ultra上测的,中文圈基本全是通稿。网友另有一组数:两张5060 Ti加30GB内存,39 tok/s扛住122K上下文,同样待复现。知乎小红书

145B跑进24G显卡?先别急着追Edge0的热乎,看实测数字

真要部署,两个坑先绕开

Edge0-145B的98GB权重不是一份文件,是三层:约40GB专家库、约51GB词表,加零碎。实测者给过结论:专家库进内存或本地NVMe,词表放本地SSD,唯独别放NAS。同一台机器,本机NVMe冷读18.3秒,走千兆NAS要15.6分钟,差51倍;流式换页模式下,NAS那条112MB/s的链路根本撑不住命中率。知乎

国内下载别认准一个源:同一文件同一天,hf-mirror卡到94KB/s,ModelScope单流21.2MB/s、8路并行44.4MB/s,差225倍。知乎

我的判断

Edge0的下限被一台千元级二手迷你主机验证了:无独显、单通道16GB内存,照样让35B MoE跑出可交互的速度,三年前这得一台服务器。但"145B上24G卡"的光环,在第三方数据出来之前,建议先捂好钱包。24G卡党现在该做的不是连夜下98GB,而是先确认三件事:内存够不够32GB起、本地NVMe有没有2TB空位、你到底拿它聊天还是跑Agent。知乎

145B跑进24G显卡?先别急着追Edge0的热乎,看实测数字

评论

评论区空态插画

当前文章无评论,是时候发表评论了