想在本地跑 235B 参数的大模型,单机得配多大内存?多数人在这一步就劝退了。11 月 19 日,微软给了一个新思路:别升级机器,加机器——用 USB4 线把几台 Windows 电脑直连起来,内存和 GPU 凑在一起,合力跑同一个模型。IT之家WinDiscover

到底发布了什么
这个功能叫 RDMA over USB4,目前是开发者预览,代码已在 GitHub 开源。说人话:平时两台电脑传数据,要经过网络协议栈、CPU 来回搬运;RDMA 让一台电脑直接读写另一台的内存,绕开 CPU。以前这得靠数据中心专用网卡,现在一根 USB4 线就行,不用买网卡、不用交换机、不用第三方驱动。GitHubIT之家
为什么死磕延迟?因为把模型拆到多台机器上跑(张量并行),每生成一个字,机器之间都要交换好几次数据,通信一慢,生成速度就被卡死。微软实测:小数据包往返延迟 28–50 微秒,大约是同一条线上传统以太网方式的四分之一。WinDiscoverIT之家

实测成绩挺能打
AMD 路线:3 台 Ryzen AI Max+ 395 迷你主机,每台 128GB 统一内存,40Gbps USB4 全互连,跑 4-bit 量化的 Qwen3-235B——微软测得约 18.5 token/秒,AMD 自测约 22。IT之家
英特尔路线:3–4 台酷睿 Ultra Series 3,每台 64GB 内存,雷电 4 互连,跑单台装不下的 GPT-OSS-120B——3 台 49.4 token/秒,4 台 54.2。知乎
235B 模型在一堆迷你主机上跑出十几 token/秒,聊天够用了,成本却远低于数据中心那套装备。
但先别急,三个门槛
接口得是真 USB4。 USB-C 只是接口形状,不少迷你主机的 Type-C 口实际是 20Gbps 的 USB 3.2,接不上这条链路。雷电 4/5 满足要求也能用。买机器前,先翻规格表。
全互连,不能串糖葫芦。 N 台机器,每台要有 N-1 个 USB4 口,两两之间一根线直连。3 台就是每台 2 个口,菊花链会明显掉速——很多迷你主机根本掏不出这么多口。WinDiscover
别拿主力机做实验。 预览版将登陆 Insider 实验通道,默认关闭,开启要改注册表、开测试签名,而测试签名要求关闭安全启动。微软自己都建议用专用测试机。而且截至公告发布,对应构建还没推送。知乎

普通人怎么办
如果你正想买迷你主机玩本地 AI:别为这个功能提前掏钱,它现在还是开发者玩具。手里已经有带 USB4/雷电 4 的大统一内存机器,可以盯着 Insider 通道,等构建放出再拿备用机尝鲜。现阶段跑大模型,最稳的仍是单机把内存配够。
微软这一步,本质是把"集群"从数据中心名词变成了桌面上能拼的东西。方向是对的,普及还得等它默认开启的那天。
当前文章无评论,是时候发表评论了