3万的桌面超算值不值?DGX Spark实测:2000亿参数随便跑
128GB统一内存能跑多大模型
GB10芯片的物理规格相当豪华:20核ARM架构CPU加上Blackwell GPU,在FP4精度下宣称达到1 PetaFLOP算力,128GB LPDDR5X统一内存由CPU和GPU共享。数字看起来唬人,但实际体验的核心在于"能跑多大的模型"。官方给出的是2000亿参数推理、700亿参数微调的上限——这个容量对于Llama-3.1-70B、Qwen2.5-72B这类主流开源模型绰绰有余。在Int4量化下,70B模型加载后内存占用约92%,还有余量跑梯度累积,LoRA微调的batch size能开到32不溢出。素材显示有用户实测部署Qwen2-72B-Int4时,38秒完成模型映射,全程无swap抖动。34
不过,273 GB/S的内存带宽是这台机器的硬伤——对比H100 PCIe 80 GB的2.04 TB/s差了接近一个数量级,也明显低于Mac Studio M3 Ultra的800 GB/s。这意味着解码吞吐量受限。有测试显示Llama-3.1-8B生成速度约36 tokens/s,DeepSeek R1约20 tokens/s,对比RTX 5090的200 tokens/s差距明显。有观点直接指出"DGX Spark跑大模型卡成PPT",认为同价位选择带宽更高的方案更划算。另一部分用户则反驳:带宽瓶颈主要影响生成阶段,对7B-13B规模的日常推理任务影响有限,真正需要大体量模型时128GB的统一内存容量才是稀缺资源。567
预装软件栈对非极客用户值不值
同价位能买到什么替代方案
| 维度 | DGX Spark | Mac Studio M3 Ultra | AMD Max+ 395迷你主机 |
|---|---|---|---|
| 参考价格 | 约3万元(单台) | 约2.8万元 | 约1.5万元 |
| 统一内存 | 128GB(单台) | 256GB | 128GB |
| 内存带宽 | 273 GB/s | 约800 GB/s | 最高301 GB/s |
| AI算力 | 1 PFLOPS(FP4) | M3 Ultra核显 | NPU 50 INT8 TOPS |
| 系统生态 | Ubuntu + CUDA | macOS | Windows/Linux |
| 扩展能力 | 支持2-4机集群 | 不支持多机互联 | 不支持多机互联 |
| 适用场景 | 大模型训练/微调 | 轻量推理/通用办公 | AI+生产力混合 |
买之前先问自己三个问题
m3ultra哪里还有2.8万的价格
没有更多了