全球博主体验：AMD Stricks Halo 128GG 运行 LLM 性能指南

这是老黄DGX Spark的相近版本，可能价格只有1/3不到，下面是一些博主的体验报告：

AMD Ryzen AI Max Plus 395（代号 Strix Halo）芯片代表了 AMD 在 Zen 5 架构上进军 AI 加速计算的雄心，它是专为 AI 工作负载和生产而设计的。该设备最大的卖点是其在运行本地大型语言模型（LLM）方面具有极高的效率。

总体性能与效率

高效率运行： Strix Halo 平台在运行大型 LLM 方面表现出色，其效率远高于市场上几乎所有其他产品。它能够以非常高效的方式运行更大、性能更高的开源 LLM。

性能宣称： GMK Evo X2（搭载 Strix Halo）的性能声称包括在 LM Studio 中进行 AI 推理的速度比 RTX 4090 快 2.2 倍（功耗更低），这尤其适用于本地 LLM，如 Deepsee RL 32B 或 Llama 4 的 109B（在 128 GB 配置上）。

与其他平台的比较： AMD 声称，在优化情况下，该系统 LLM 性能可比英特尔 Lunar Lake 快 12 倍。 然而，它的推理速度仍逊色于配备双 RTX 6000 GPU 的 Dell 7875 工作站（每秒 50 个 token）。 M2 Mac Ultra 的集成 GPU 可以达到每秒约 20 个 token 的速度，大约是 Ryzen 芯片的两倍。

关键模型性能（Tokens/秒）

Strix Halo 平台上的实际性能数据取决于模型大小、量化级别以及所使用的操作系统和驱动后端：

混合专家模型（MoE）的优势： Strix Halo 在运行 Mixture of Expert 模型（如 GLM 4.5 Air）时表现最佳，但在处理 密集模型（dense models） 时，由于内存带宽的限制，表现不太理想。

驱动后端和软件优化

要充分发挥 Strix Halo 的性能潜力，需要适当的配置和使用合适的 Linux 驱动后端，特别是对于希望使用全部 128 GB 统一内存的用户。

1. AMD VLK (AMD's official driver)

性能： 在工作时，AMD VLK 始终是最快的，有时性能提升超过 50%。

限制： 它无法处理需要大于 2 GB 的 Vulcan 缓冲区分配的模型（例如 Gemma 27B BF16 或 KI 72B），因此对于某些大型模型而言不可用。

2. RADV (Open-source Mesa driver)

稳定性： RADV 稳定可靠，成功加载和运行了所有测试的模型。

性能： 性能比 AMD VLK 稍慢，但在 AMD VLK 失败的情况下，它是最安全的选择。

3. RocM (AMD's compute platform)

BF16 优势： RocM 在处理 BF16 格式的模型时表现出色，性能远超 Vulcan。例如，Qwen 模型在 BF16 格式下的文本生成速度可以达到每秒 23 个 token，比 Vulcan 快三倍。

加载问题： 对于超过 64 GB 的大型模型，必须使用 no map 标志禁用内存映射，否则加载模型可能需要数小时而不是几秒。

稳定性： RocM 仍然存在稳定性问题，测试中多次出现崩溃或 GPU 挂起的情况，不如 Vulcan 可靠。

软件支持成熟度： 值得注意的是，目前 Strix Halo 平台的软件支持仍然处于实验阶段，尚未完全成熟。许多功能（如图像和视频生成）的实现，目前在很大程度上依赖于开源社区的努力，而不是 AMD 官方提供的成熟支持。然而，AMD 的软件工程师似乎正在积极解决 GitHub 上的问题，致力于支持该平台。

统一内存的重要性

Strix Halo 芯片采用统一内存架构（Unified Memory Architecture），类似于 Apple 的 M 系列芯片，允许集成 GPU 直接共享和访问系统内存（最高可达 128 GB）。

这种架构使得在消费级硬件上运行大型模型成为可能，例如，一个 70 亿参数的模型，使用传统的 8 GB VRAM 笔记本 GPU 只能运行高度量化的小模型。

通过正确的 Linux 内核参数配置，可以解锁完整的统一内存潜力，使得 GPU 不仅能使用静态分配的显存，还能使用全部 128 GB 的系统内存来存储模型。

例如，在 Q4 量化下，Llama 4 Scout 模型需要 58 GB 的权重和 49 GB 的 100 万 token 上下文，总计 109 GB，可以适应 128 GB 的内存。

内存带宽限制： 尽管内存容量大，但该平台存在内存带宽限制，这影响了密集模型的运行效率。

总结： Strix Halo 平台在运行 LLM 方面表现为“鱼与熊掌”：其统一内存架构（高达 128 GB）使其能够加载并运行以前只有昂贵的高端服务器才能处理的超大模型，并能在某些模型上达到极高的 token 速度（如 GPT OSS 120B 的 46.9 tokens/秒）。然而，由于内存带宽的限制以及驱动程序的成熟度不足，它在处理密集模型和某些后端（如 AMD VLK 和 RocM）的稳定性上仍有待提高。

不过真的是便宜不少，如果能更便宜就最好。