对AI硬件的性能评估，单用户跑分往往具有误导性。通过模拟多用户、高并发的真实使用场景，采用VLLM、Llama.cpp等多引擎测试，才能全面揭示DGX Spark、M3 Ultra等高端平台在AI推理任务上的真实实力与吞吐量极限。
智能速览
单用户聊天测试无法反映AI硬件的真实性能。
并发测试能更准确评估硬件在高负载下的AI推理吞吐量。
使用VLLM引擎时，NVIDIA DGX Spark在高并发下表现惊艳。
苹果M3 Ultra在MLX后端下，并发性能也有显著提升。
AMD平台在不同引擎和量化下的表现存在较大差异。
选择硬件时，应考虑实际使用场景（如单聊 vs 多人共享/AI智能体）。
精华内容
想要准确衡量AI服务器的性能，传统的单用户基准测试早已不够。引入多引擎、高并发的测试方法，才能真正挖掘出硬件在处理复杂AI任务时的极限潜能和差异。
测试思维转变
单用户测试如同以一客订单评判整个餐厅，无法反映真实负载。并发测试通过模拟多个AI请求、智能体调用或多用户共享，更能体现硬件处理高密度任务的能力，这是评估AI生产力的关键指标。
后端引擎差异
测试对比了Llama.cpp、VLLM和MLX。Llama.cpp在低并发时通用，但VLLM在NVIDIA硬件上展现了卓越的并发扩展性。MLX作为Apple Silicon的专属框架，性能远超在Mac上运行的Llama.cpp，是苹果平台的最优解。
Spark的逆袭
DGX Spark在单用户测试中表现平平，但在VLLM引擎下，其潜能被彻底激发。在64并发请求下，吞吐量飙升至每秒1125个Token。当采用更高效的FP4量化时，性能进一步跃升至每秒1500个Token，展现出强大的多任务处理优势。
竞品表现分析
苹果M3 Ultra在MLX后端支持下，并发性能提升一倍，最高达到每秒518个Token，但与高负载下的Spark仍有差距。AMD平台（Radeon 9060XT）在VLLM下也达到每秒918个Token，表现不俗，而Strix Halo则在某些测试中存在性能瓶颈。
量化与场景影响
量化方式（Q8, FP4）和最大Token数对结果影响显著。NVIDIA专有的FP4量化带来了巨大的性能提升。同时，当处理长文本（最大Token数1024）时，Mac Studio在特定并发数下实现了反超，说明测试参数与实际应用场景紧密相关。
AI硬件的选型，绝不能仅凭简单的单聊跑分草率决定。通过并发测试，才能洞察硬件在真实工作流中的表现。无论是个人开发者探索AI应用，还是团队共享算力资源，理解并运用正确的测试方法，是找到最适合自身算力解决方案的第一步。
