什么值得买App下载 App ›
连续签到专享现金活动

微软把USB4当集群网线:3台小主机跑起235B,但先别下单

你抽屉里那根 USB4 线,微软刚把它变成了集群网线。

11 月 19 日,微软放出一项开发者预览:RDMA over USB4。两台以上带 USB4 的 Windows 电脑用线直连,就能把一个单机装不下的大模型拆开一起跑,共用各台的内存和 GPU。不用买数据中心那种 RDMA 网卡,不用交换机,也不用装第三方驱动。知乎专栏微博

微软把USB4当集群网线:3台小主机跑起235B,但先别下单

卡的从来不是算力,是内存

本地跑大模型最难受的一关是容量:128GB 统一内存的小主机已经不便宜,235B 照样塞不下。以前的解法只有两条。

一条是买更贵的机器。这波刚集中开卖的 AI 迷你桌面机,64GB 版就要 4399 美元起。DGX Spark 这类自带 ConnectX-7 的机型,英伟达官网写明最多连 4 台,4 台还得加交换机。小红书

另一条是民间土办法。知乎上有人早在 Linux 里模拟 RDMA,一根雷电线连起两台 Strix Halo,延迟从 130 微秒量级掉到 7 微秒。Reddit 上还有人拿 40 台 N150 无盘小主机靠 USB 调试口拼出直连,约 5000 美元跑起了 GLM 5.3 Flash。知乎小红书

微软把USB4当集群网线:3台小主机跑起235B,但先别下单

微软这次做的,就是把极客土办法变成系统自带能力。Windows 本来就支持 RDMA,接口叫 NetworkDirect,过去只跑在专用网卡上;现在这层软件直接架在 USB4 上,应用代码一行不用改。

为什么延迟是命门

张量并行意味着每吐一个 token,机器之间都要来回交换很多次数据,往返延迟直接卡住生成速度。

微软公布的是两台机、同一根 USB4 线:小消息往返 28–50 微秒,约等于同一条线上普通 UDP 以太网的四分之一。40Gbps 和 80Gbps 延迟差不多,80Gbps 赢在带宽,长上下文更舒服。知乎专栏

模型也真跑起来了。AMD 线:3 台 Ryzen AI Max 迷你主机,每台 128GB,USB4 全互连跑 4-bit 的 Qwen3-235B-A22B,微软实验室约 18.5 tok/s,AMD 自测 21.98 tok/s。Intel 线:3 台和 4 台酷睿 Ultra 系列 3,每台 64GB,雷电 4 全互连跑单机装不下的 GPT-OSS-120B,1K 上下文分别 49.4 和 54.2 tok/s。

边界微软自己划得很清楚:在已演示的负载上传输层不再是瓶颈;测过的平台是 Ryzen AI Max(最多 3 台)和带雷电 4 的酷睿 Ultra 系列 3(最多 4 台)——这是“已测”,不是“仅支持”。

四件事,够你先别下单

一,还没推。博客写的是“即将”进 Windows Insider 的 Experimental(Future Platforms)通道,发文那刻构建还没放出。

二,默认关闭,要改注册表、开测试签名,而测试签名要求关掉安全启动。微软自己建议用专用测试机,别拿日常电脑试。

三,必须全互连,不能菊花链。N 台机器每台要 N-1 个 USB4 口,两两一根线。3 台就是每台 2 个口——很多迷你主机一共就俩 C 口。

四,Type-C 长得一样,但不是都能用。标 20Gbps USB 3.2 Gen 2x2 的口接不上这条链路;目前在售的两款主打本地跑模型的 AI 迷你主机,官网规格里列的就都是 20Gbps Type-C。知乎专栏

微软把USB4当集群网线:3台小主机跑起235B,但先别下单

所以怎么办

想现在就能多机拼算力,认准自带高速网卡的机型,或在 Linux 里走社区方案,这两条今天就能跑。准备买 AI 迷你主机,先去官网规格页搜 “USB4” 或 “Thunderbolt”,再数 C 口够不够 N-1 个——这一步比跑分重要。手上已有带 USB4 或雷电 4 的机器,先别买线,等构建放出,拿备用机试。

微软这次没给你新算力,它把你已经付过钱的那根线,变成了算力之间的路。

评论

评论区空态插画

当前文章无评论,是时候发表评论了