什么值得买App下载 App ›
连续签到专享现金活动

微软把USB4变成集群线:3台迷你主机跑起2350亿参数,先别攒机

三台巴掌大的迷你主机,几根 USB4 线串在一起,跑起了一个 2350 亿参数的大模型。

这不是极客车库里的野生魔改。11 月 19 日,微软在官方博客放出一项开发者预览,名字叫 RDMA over USB4——用 USB4 线把两台或更多 Windows 电脑直连,把同一个本地大模型切开分到几台机器上跑,内存和 GPU 合着用。不用买数据中心那种 RDMA 网卡,不用交换机,也不用装第三方驱动。知乎微博哔哩哔哩

听起来像“平民版超算”到手了。但先把手从购物车上拿开:这东西你现在还装不上。

微软把USB4变成集群线:3台迷你主机跑起2350亿参数,先别攒机

微软到底改了什么

Windows 其实一直支持 RDMA,接口叫 NetworkDirect。RDMA 的本事是让一台机器直接读写另一台机器里被授权的内存,绕过一层层拷贝。麻烦在于,它过去只活在以太网或 InfiniBand 专用网卡上,普通电脑根本不会配。

而这两年 AI PC 铺开,USB4 口越来越多,Windows 11 自带的主机到主机联网也能用了。微软做的事,就是在这条 USB4 链路上补了一层软件 RDMA,上层应用照旧走 NetworkDirect,代码不用改。演示用的框架是开源的 llama.cpp,靠张量并行把模型切到多台机器上。

为什么非得是 RDMA?因为张量并行的命门在这儿:每吐出一个 token,机器之间都要来回交换很多次数据,往返延迟会直接卡住生成速度。微软给的数字是,两台电脑同一根 USB4 线上,小消息往返约 28–50 微秒,大约是同一条线跑以太网 UDP 的四分之一。64 字节是 28 微秒对 128 微秒,16 KiB 是 50 微秒对 194 微秒。40 Gbps 和 80 Gbps 都能把延迟压到差不多的水平,80 Gbps(比如雷电 5)赢在带宽,长上下文更从容。知乎

微软把USB4变成集群线:3台迷你主机跑起2350亿参数,先别攒机

成绩单:能跑,但别激动

AMD 那条线,3 台 Ryzen AI Max+ 395 迷你主机,每台 128GB 统一内存,USB4 40Gbps 全互连,跑 4bit 量化的 Qwen3-235B-A22B,微软实验室测到约 18.5 tok/s。哔哩哔哩

英特尔那条线更接近普通人的场景:3 到 4 台酷睿 Ultra 系列 3,每台 64GB,雷电 4 全互连,跑单台 64GB 根本装不下的 GPT-OSS-120B。1K 上下文下,3 台 49.4 tok/s,4 台 54.2 tok/s。知乎

多添一台机器,只快了不到 10%。

这就是多机拼集群最容易被忽略的地方:内存确实叠上去了,速度不会跟着叠。英伟达公布过一组 DGX Spark 的解码数据,Qwen3.8-27B 单台 11.86 tok/s,两台直连 21.71,8 台环形组网 40.11——八台机器,只有 3.4 倍。微软自己的措辞也留了余地,“传输层不再是瓶颈”这句话前面,还挂着“已演示的负载上”这个前提。知乎

三道门,每道都能把你挡在外面

第一道,预览还没真正放出来。它“即将”进 Windows Insider 的 Experimental 通道,装上之后默认关闭,要改注册表开关、开测试签名,而测试签名要求关闭安全启动。微软自己建议:拿专用测试机玩,别动日常那台。为了跑个模型把安全启动关了,这笔账不划算。哔哩哔哩知乎

第二道,你的 Type-C 不一定是 USB4。组网必须全互连——3 台机器,每台要空出 2 个 USB4 口,两两之间各拉一根线直连,不能菊花链,串着接性能会明显往下掉。可现在不少主打 AI 的迷你主机,后置给的是 20Gbps 的 USB 3.2 Gen 2x2 Type-C,接口长得一模一样,规格表里却找不到 USB4 或雷电字样。这种口接不上这条链路。下单前把 I/O 规格逐行看一遍,比翻十页宣传有用。知乎

微软把USB4变成集群线:3台迷你主机跑起2350亿参数,先别攒机

第三道,口会先于算力见底。N 台机器全互连,每台都要空出 N-1 个口:3 台是每台 2 个口、一共 3 根线,4 台变成每台 3 个口、6 根线,5 台要每台 4 个口、10 根线。买之前先数口,比先数内存更要紧。

那现在就想多机跑,怎么办

有一条今天就能落地的路:NVIDIA DGX Spark 自带的 ConnectX-7。英伟达官网写明最多可连 4 台,两台或三台可以直连,四台需要交换机。贵,但不用等。知乎

微软把USB4变成集群线:3台迷你主机跑起2350亿参数,先别攒机

微软这次真正改的,不是让你今晚省下多少钱,而是把“多机拼内存”这条路从机房搬到了桌面上。以前要专用网卡、要交换机、要第三方驱动;往后可能就是几根 USB4 线的事。

但那是往后的事。眼下,别为一个还没放出的预览去攒三台机器。真想上手,先看一眼规格表里有没有那四个字:USB4,或者雷电。

评论

评论区空态插画

当前文章无评论,是时候发表评论了