11月12日,Edge0 把 1450 亿参数的端侧模型开源了。官方给的门槛挺诱人:峰值内存仅需 29GB,解码 80+ token/s,笔记本上就能本地跑。NAS 圈的第一反应几乎一致——近百 GB 的权重,正好扔 NAS 上,谁要用谁挂载。哔哩哔哩知乎哔哩哔哩

这一次,真不行。
这代模型把 SSD 当成了运行部件
Edge0-145B 不是一个"大文件",而是把权重按冷热分成三层:热专家常驻显存,冷专家放系统内存,最冷的那部分留在盘上,边算边按需取。按模型卡口径,40GB 级的专家池常驻内存,另有一个 51.2GB 的词表文件默认从盘直读、不进内存。知乎知乎

盘从此不是仓库,是运行时的一环。80 token/s 意味着每个 token 只有 12.5 毫秒预算,取数据的时间要从这里头扣。而且这不是 Edge0 一家的路子:面壁智能 11 月发布的 MiniCPM-V 4.7 同样把大部分专家权重放在手机闪存里按需加载,再靠"前瞻专家调度"提前预取下一层要用的专家,用计算掩盖存储 IO 的等待。端侧模型开始集体把闪存当内存用。知乎
千兆这道墙,112MB/s 就是顶
有人真拿这份权重测了:同一个文件、同一台工作站,放本机 NVMe 冷读 18.3 秒,走千兆 SMB 放 NAS,15.6 分钟,差 51 倍。这笔账自己也算得出来——105GB ÷ 112MB/s ≈ 940 秒。千兆的物理上限是 125MB/s,实测能到 112MB/s 基本就满了;另一个先后折腾过 2.5G、LACP、万兆的玩家,独立测出的千兆数同样是 112 MB/s。知乎知乎

更要紧的是,这条链路两路就到顶,再多开线程不会涨总量,只会把每一路摊薄;换 NAS 型号、加 SSD 缓存、换硬盘,都不动 112 这个数。想抬总带宽,只剩加物理链路一条路:多网口、2.5G、万兆,而且两端一起换。知乎
升级之前,先把速度测准
做这组测量的人第一版就翻过车:用普通缓冲读去测 NAS,测出双流 211MB/s,还抓到过一次 6548MB/s。千兆线跑不出这种数——那是 Windows 客户端缓存在替他读。判据可以直接抄:只要读数超过链路物理上限,测到的就不是网络;要测真速度,得绕开客户端缓存(Windows 上是 FILE_FLAG_NO_BUFFERING),用大块顺序读,再核对实际读到的字节数等不等于目标字节数。知乎
下载这近百 GB,源比网更要命
同一天、同一个文件,hf-mirror 只给了 94KB/s,ModelScope 单流 21.2MB/s,差 225 倍。这不是孤例:有人下 55.6GB 走 hf-mirror 只有 8B/s,挂一整晚不到 200MB,换 ModelScope 后单流 115MB/s。根因也不玄——新版 huggingface_hub 默认启用 Xet 传输,而 hf-mirror 不代理 Xet 的 CAS 服务器,解法是设 HF_HUB_DISABLE_XET=1 退回普通 HTTP 下载,或者干脆换源。知乎知乎知乎

再补一条反直觉的:多线程不等于成倍加速,8 路并行实测只有单流的 2.1 倍,按 8 倍排时间会差出好几倍。知乎
钱该花在哪
一句话:模型在哪台机器上跑,权重就放那台机器的本地盘。只为放权重去升链路,多半不划算,加一块本地 NVMe 就完事。真值得铺 2.5G 或万兆的,是多机共享、剪辑协同、异地备份这类需求;铺的时候记得盘也要跟上——有人把链路升到 2.5G,跑出 280MB/s,却被顺序读 210MB/s 的机械盘拖住。知乎
最后几件事得说清楚。官方材料里有两处对不上:每词激活参数 model.json 写 6.6B、模型卡正文写 10.12B,上下文一处 262144、一处 131072。48GB 内存的笔记本确实能本地跑,但官方自己紧跟了一句:不等于任意笔记本都能运行。知乎哔哩哔哩
平台支持也分三档:Windows 有官方客户端,Linux 和 Windows 上的 NVIDIA 卡要自己编译(CUDA 13),macOS、iOS、安卓目前只有上一代 35B 引擎。还有那个 15 分钟,只证到千兆 SMB 这一档,2.5G、万兆、NFS、SMB 多通道都没实测过。要花钱,先把自己那条链路测准。知乎知乎