确实有料？NVIDIA DGX Spark 全球博主评测第二弹

NVIDIA DGX Spark 被设计为一个面向本地 AI 开发和实验的高性能、紧凑型工作站。它的性能特点主要围绕其 128 GB 统一内存、Blackwell 架构以及对 FP4 格式的硬件支持，使其能够运行比大多数消费级 GPU 更大的模型。

以下是关于 DGX Spark 在 LLM 推理（Inference）和微调（Fine-Tuning）等方面的性能分析，并列出多方博主的观点和测试数据：

一、 DGX Spark 核心性能概览

DGX Spark 的核心是 GB10 Grace Blackwell Superchip，它集成了 20 个 ARM 核心 CPU 和 Blackwell GPU。

硬件规格/特性详细信息来源AI 性能最高可达 1 petaflop 的稀疏 FP4 Tensor 性能。内存128 GB LPDDR5X 统一系统内存。内存由 CPU 和 GPU 无缝共享。内存带宽峰值约 273 GB/秒 到 275 GB/秒。这是进行大规模推理时的主要瓶颈。GPU 定位AI 能力大致介于 RTX 5070 和 5070 Ti 之间。但它不是 $10,000 的高端 GPU。功耗额定最高功耗 240 瓦。待机功耗约为 44-45 瓦。网络配备双 QSFP 56 ConnectX-7 网卡，支持高达 200 Gbit/秒的 RDMA 网络。

二、 LLM 推理性能 (LLM Inference)

DGX Spark 在 LLM 推理方面的优势不在于原始速度，而在于其能够运行远超消费级显卡内存限制的超大模型。

1. 关键优势：统一内存和 FP4

运行大型模型的能力: 128 GB 统一内存是 DGX Spark 的最大卖点。它允许在本地运行高达 200 亿参数（取决于量化）甚至更大的模型。例如，它可以运行需要 60 到 65 GB 内存的 GPT OSS 120B 模型。

FP4 格式优化: DGX Spark 具有 Blackwell 架构的硬件支持 NVFP4 (NVIDIA's 4-bit format)。 FP4 是性能提升的关键加速器（star of the show）。 FP4 通过牺牲精度来换取带宽。它可以将内存占用缩小约 3 到 3.5 倍（相比 FP16），或 1.8 倍（相比 FP8）。 NVIDIA 称，通过特殊的量化优化，FP4 格式的模型精度损失通常低于 1%，接近 FP8 的质量。 例如，Llama 3.1 8B 模型在 NVFP4 格式下能达到 39 tokens/秒，而使用其他量化格式时约为 23 tokens/秒。

多代理/复杂工作流: DGX Spark 在运行多个 LLM 的多代理框架（Multi-Agent Frameworks）时表现出色。例如，同时运行 GPT OSS 120B、Deep Seek Coder 6.7B 和 Quinn 3 Embedding 4B 等多个模型，总共使用了 89 GB 内存，这是许多消费级 GPU 无法做到的。

推测解码（Speculative Decoding）: DGX Spark 支持推测解码（例如使用 EGO 3 算法），通过使用小型快速模型预测并让大型模型验证的方式来加速文本生成，从而将端到端吞吐量提高高达 2 倍。这有助于弥补统一内存带宽的限制。

2. 推理速度对比 (Tokens/Second)

多个来源提供了基于不同模型和框架的推理速度数据：

推理总结：

对于小型模型（如 Quinn 3 8B），DGX Spark 的原始推理速度明显慢于高阶消费级 GPU（如双 RTX 4090）。

对于大型模型（如 70B 或 120B），DGX Spark 运行它们的速度是可用的（workable），但性能受限于 273 GB/秒 的内存带宽。

三、 LLM 微调/训练性能 (Fine-Tuning/Training)

微调是 DGX Spark 的主要应用场景之一，因为它允许开发者在本地训练模型，避免高昂的云 GPU 租用费用。

1. 微调优势和对比数据

训练通常需要比推理更多的 VRAM/内存。DGX Spark 的大容量内存使其成为训练大型模型的理想选择。

微调总结：

速度差异: 尽管 DGX Spark 在小模型训练迭代速度上可能比高阶消费级 GPU 慢（例如比双 4090 慢约三倍），但它在实际训练工作流中展现了显著的速度优势，例如在 Gemma 3 4B 示例中比云端 T4 快约四倍。

内存容量决定能力: 对于需要大量内存的训练任务（如 Llama 3 70B），DGX Spark 是必要的，因为 48 GB VRAM 的双 4090 根本无法加载模型进行训练。

工具支持: Spark 支持使用 Unsloth 这样的内存高效训练框架，并提供了针对 Flux Diffusion 模型、VLM（Vision Language Models）模型等的本地微调示例。

四、 图像生成及扩展性 (Image Generation and Scalability)

1. 图像生成性能

DGX Spark 非常适合利用其大内存池进行图像生成，能够运行更大的模型，从而获得更高质量的结果。

Comfy UI 对比: 在使用 Comfy UI 进行基本图像生成时： 双 RTX 4090 ("Terry")：约 11 迭代/秒。 DGX Spark ("Larry")：约 1 迭代/秒。

结论: 图像生成速度方面，DGX Spark 的原始性能远低于高性能消费级 GPU。

2. 扩展性 (Scaling)

DGX Spark 配备了企业级网络功能，这是其与众不同之处。

ConnectX-7 网络: 内置的 NVIDIA ConnectX-7 智能网卡（Smart NIC）具有 PCIe Gen 5 交换机。它提供双 200 Gbit/秒的 QSFP 56 端口，支持 RDMA（Remote Direct Memory Access）网络。

双机堆叠: 用户可以通过专用的 200 GB QSFP 56 电缆将两台 DGX Spark 直接连接起来，无需交换机。 扩展后，总内存达到 256 GB。 两个互连的 DGX Spark 单元在 FP4 格式下可以处理高达 4050 亿参数的模型。

集群扩展: 可以通过 Microick CRS812 DDQ 等交换机进一步扩展，轻松支持 6 个或更多的系统。

软件生态: 支持 NCCL (NVIDIA Collective Communications Library)，使得开发者可以使用 RDMA 网络，像操作大型数据中心 AI 服务器一样，跨多个物理主机利用多个 GPU。

结论：博主的共识

多位博主的共识是，DGX Spark 的定位是 "AI Lab in a Box" 或 开发者平台：

DGX Spark 的价值在于容量而非速度: 尽管在小型模型推理和图像生成速度上，它不如高成本的高端游戏 PC（如双 4090 配置），但其 128 GB 统一内存使它能够运行和微调更大规模的模型。

微调的优势: 对于 AI 开发者而言，Spark 尤其在 LLM 微调/训练方面具有巨大优势，因为它避免了昂贵的云 GPU 租赁费用，并且能够轻松处理通常需要云资源的训练任务。

生态系统与易用性: NVIDIA 通过 DGX OS、NVIDIA Sync、AI Workbench 以及丰富的在线指南和 Playbook，大大简化了 AI 开发环境的设置和远程访问，提供了交钥匙式的体验，这是其相对于 AMD 等竞争对手的主要优势。

可扩展性: ConnectX-7 网络和 RDMA 支持，使其成为唯一能够以如此紧凑的尺寸，提供从小规模开发到数据中心级别扩展路径的迷你 PC 平台。