一台跑不动就上16台！英伟达DGX Spark集群成功跑通Kimi K3：生成速度达38 t/s

快科技9月5日消息，英伟达开发者论坛用户ciprianveg近日公布了一项本地AI算力测试，通过将16台英伟达DGX Spark组成运算集群，成功运行了完整的Kimi-K3大模型，测试结果表明，该系统在16000深度下的最高生成速度可达38 t/s。

英伟达DGX Spark原本是面向本地AI开发和推理的桌面设备，随着Qwen、DeepSeek等模型的普及，单台设备的计算和显存资源往往难以满足千亿参数模型的需求。

该项目通过直接增加计算节点的方式，将应用场景从单机测试扩展到了多机并行。

为了满足16台设备协同工作时庞大的数据吞吐需求，该项目在网络互联上进行了专门配置，系统通过一台MikroTik CRS804-4DDQ核心交换机进行网络调度，并搭配4根400G转4×100G的高速分支线缆，将所有GB10节点串联。

系统运行基于Inferact/Kimi-K3-DSpark环境，以分布式方式首次启动了该模型。

具体的基准测试成绩上，集群在4000深度下，预填充（即模型处理输入提示词的准备阶段）吞吐量为654.89 t/s，首次响应时间约8.3秒，生成速度为21.71 t/s。

当上下文深度增加至16000时，预填充吞吐量提升至758.78 t/s，首次响应等待时间延长至约21.5秒，但生成速度反而提升至25.39 t/s，峰值达到38.00 t/s。

该发帖人还表示，这仅是未经过充分调优的首次测试成绩，后续他计划继续优化整体性能，并将在近期把运行镜像和使用说明上传至代码托管平台GitHub。

编辑：青山

【本文结束】如需转载请务必注明出处:快科技