零刻SER9 Pro HX370与AI 365本地部署deepseek-R1大模型性能对比

零刻SER9 Pro HX370与AI 365本地部署deepseek-R1大模型性能对比

哈喽小伙伴们好，我是Stark-C~

前些天有好几位粉丝私聊我零刻SER9这么强的性能小主机部署deepseek-R1大模型表现怎么样，本来打算本周末折腾一下给小伙伴们汇报一下的，没想到零刻官方的工作人员直接先搞出来了，并且还整的非常详细。

所以我也懒得折腾了，部署教程现在全网铺天盖地都是。我这里直接放出零刻官方给出的数据，大家直接抄作业参考吧~

以下内容均引用零刻官方官方：

通过LM Studio软件，我们在SER9 Pro HX370和AI 365上测试了deepseek-R1模型在不同参数规模和精度下的运行能力，以提供更全面的性能参考。

测试概述：

此次测试基于SER9 Pro HX370（64G内存）和AI 365（32G内存）两款主机，使用deepseek-R1蒸馏模型，参数规模从1.5B到14B，精度范围从Q2到Q8。测试结果显示，两款主机在本地部署大模型时均表现出色。SER9 Pro不仅可以使用CPU进行计算，还能优先利用核显算力。

性能对比：

1. GPU模式表现：

- 在处理1.5B和7B模型时，SER9 Pro HX370凭借其优化的核显算力表现更优。

- 对于14B模型，两款主机的性能差异不大，均能稳定运行。

- GPU模式在显存占用和响应速度上更具优势，适合性能要求较高的场景。

2. CPU模式表现：

- 在CPU模式下，两款主机运行大模型的性能相近。

内存与显存配置：

- 配备64G内存的主机可设置最大48G专用显存；32G内存版本支持24G专用显存。这一设计为更大参数规模的模型通过GPU运行提供了支持。

应用场景建议：

- 日常使用：8B模型是最佳选择，在性能与资源占用之间实现了良好平衡，适合大多数应用场景。

- 高性能需求：14B模型适合对性能有更高要求的场景，能够满足复杂任务的需求。