针对个人和中小企业难以承担超大模型高昂运行成本的问题，通过英伟达GB10服务器进行双机及三机互联实测，探索了低成本本地化部署方案。测试覆盖了从72B到235B参数的模型，提供了具体的搭建过程、性能数据和遇到的挑战，为有类似需求的用户提供了极具价值的参考。
智能速览
双机GB10互联可构建超200G统一内存池，成功运行140G显存模型。
FP8精度的GLM4.5-Air在双机集群下推理速度可达18.3 token/s。
成功攻克三机互联难题，将内存池扩展至300G以上。
三机集群成功运行2350亿参数的Qwen3模型，TPS为8.0 token/s。
实测发现，通过自定义脚本和Pipeline并行可实现多机高效协作。
精华内容
官方仅提供双机互联方案，但实际需求可能更高。通过自主探索，成功实现了GB10的三机串联，并针对不同模型和精度进行了详细性能测试，以下是具体的搭建过程与实测数据。
双机互联搭建
参照官方教程，通过一根QSFP线连接两台GB10机器，配置IP并建立免密SSH连接，确保网络畅通。
随后，利用VM Docker镜像与Ray集群管理系统进行部署。将一台机器设为头节点，另一台为工作节点。
运行启动脚本后，通过`Ray Status`命令确认，集群成功识别2个GPU，并形成了一个超过200G的统一内存池，为运行超大模型奠定了基础。
双机推理实测
首先测试FP16精度的Qwen2.5-72B模型，该模型需要约140G显存，远超单机能力。模型加载耗时18分钟，推理过程中双机GPU利用率维持在96%左右。
具体性能指标为：首token生成延迟（TTFT）1.39秒，每秒生成token数（TPS）为2.75。表现相对一般。
随后切换为FP8精度的GLM4.5-Air模型（1060亿参数），推理速度显著提升，TPS达到了18.3 token/s，表现优异。
三机互联挑战
由于缺乏官方教程，三机互联难度陡增。采用网络拓扑原理，用三根QSFP线将三台机器环形连接（A-B, B-C, C-A）。
除了配置IP，还需额外进行路由转发设置，经过多次调试，最终实现了所有节点间的网络互通。
集群管理上，摒弃了官方脚本，自行编写了适用于三节点的启动脚本，并选择了2510版本的VLM镜像进行部署。
三机性能表现
针对三机集群，采用Pipeline并行方式运行FP8量化的Qwen3-235B模型，该模型需要约260G显存。
模型加载耗时约9分钟。推理过程中，虽然总显存池超过300G，但三台机器的GPU平均利用率不足60%，显示出在当前配置下，算力并非瓶颈。
最终测得TTFT为1.71秒，TPS为8.0 token/s，速度可以接受，证明了三机方案的可行性。
本次实测证明了GB10系列服务器通过集群化，能够以相对较低的成本运行两千亿级别的大模型，为本地化AI部署提供了新思路。尽管过程中充满挑战，但其可扩展性意味着未来可能构建更强大的个人AI超算。这种模式能否成为中小企业研发的标配？
