145B权重放NAS?千兆这一趟要等15分钟

源自369位全网作者

08:24

11月12日,Edge0 把 1450 亿参数的端侧模型开源了。官方给的门槛挺诱人:峰值内存仅需 29GB,解码 80+ token/s,笔记本上就能本地跑。NAS 圈的第一反应几乎一致——近百 GB 的权重,正好扔 NAS 上,谁要用谁挂载。哔哩哔哩知乎哔哩哔哩

145B权重放NAS?千兆这一趟要等15分钟

这一次,真不行。

这代模型把 SSD 当成了运行部件

Edge0-145B 不是一个"大文件",而是把权重按冷热分成三层:热专家常驻显存,冷专家放系统内存,最冷的那部分留在盘上,边算边按需取。按模型卡口径,40GB 级的专家池常驻内存,另有一个 51.2GB 的词表文件默认从盘直读、不进内存。知乎知乎

145B权重放NAS?千兆这一趟要等15分钟

盘从此不是仓库,是运行时的一环。80 token/s 意味着每个 token 只有 12.5 毫秒预算,取数据的时间要从这里头扣。而且这不是 Edge0 一家的路子:面壁智能 11 月发布的 MiniCPM-V 4.7 同样把大部分专家权重放在手机闪存里按需加载,再靠"前瞻专家调度"提前预取下一层要用的专家,用计算掩盖存储 IO 的等待。端侧模型开始集体把闪存当内存用。知乎

千兆这道墙,112MB/s 就是顶

有人真拿这份权重测了:同一个文件、同一台工作站,放本机 NVMe 冷读 18.3 秒,走千兆 SMB 放 NAS,15.6 分钟,差 51 倍。这笔账自己也算得出来——105GB ÷ 112MB/s ≈ 940 秒。千兆的物理上限是 125MB/s,实测能到 112MB/s 基本就满了;另一个先后折腾过 2.5G、LACP、万兆的玩家,独立测出的千兆数同样是 112 MB/s。知乎知乎

145B权重放NAS?千兆这一趟要等15分钟

更要紧的是,这条链路两路就到顶,再多开线程不会涨总量,只会把每一路摊薄;换 NAS 型号、加 SSD 缓存、换硬盘,都不动 112 这个数。想抬总带宽,只剩加物理链路一条路:多网口、2.5G、万兆,而且两端一起换。知乎

升级之前,先把速度测准

做这组测量的人第一版就翻过车:用普通缓冲读去测 NAS,测出双流 211MB/s,还抓到过一次 6548MB/s。千兆线跑不出这种数——那是 Windows 客户端缓存在替他读。判据可以直接抄:只要读数超过链路物理上限,测到的就不是网络;要测真速度,得绕开客户端缓存(Windows 上是 FILE_FLAG_NO_BUFFERING),用大块顺序读,再核对实际读到的字节数等不等于目标字节数。知乎

下载这近百 GB,源比网更要命

同一天、同一个文件,hf-mirror 只给了 94KB/s,ModelScope 单流 21.2MB/s,差 225 倍。这不是孤例:有人下 55.6GB 走 hf-mirror 只有 8B/s,挂一整晚不到 200MB,换 ModelScope 后单流 115MB/s。根因也不玄——新版 huggingface_hub 默认启用 Xet 传输,而 hf-mirror 不代理 Xet 的 CAS 服务器,解法是设 HF_HUB_DISABLE_XET=1 退回普通 HTTP 下载,或者干脆换源。知乎知乎知乎

145B权重放NAS?千兆这一趟要等15分钟

再补一条反直觉的:多线程不等于成倍加速,8 路并行实测只有单流的 2.1 倍,按 8 倍排时间会差出好几倍。知乎

钱该花在哪

一句话:模型在哪台机器上跑,权重就放那台机器的本地盘。只为放权重去升链路,多半不划算,加一块本地 NVMe 就完事。真值得铺 2.5G 或万兆的,是多机共享、剪辑协同、异地备份这类需求;铺的时候记得盘也要跟上——有人把链路升到 2.5G,跑出 280MB/s,却被顺序读 210MB/s 的机械盘拖住。知乎

最后几件事得说清楚。官方材料里有两处对不上:每词激活参数 model.json 写 6.6B、模型卡正文写 10.12B,上下文一处 262144、一处 131072。48GB 内存的笔记本确实能本地跑,但官方自己紧跟了一句:不等于任意笔记本都能运行。知乎哔哩哔哩

平台支持也分三档:Windows 有官方客户端,Linux 和 Windows 上的 NVIDIA 卡要自己编译(CUDA 13),macOS、iOS、安卓目前只有上一代 35B 引擎。还有那个 15 分钟,只证到千兆 SMB 这一档,2.5G、万兆、NFS、SMB 多通道都没实测过。要花钱,先把自己那条链路测准。知乎知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章