大模型降智？那就本地部署！掠夺者内存+SSD助力打造超级AI主机！

小伙伴们好，我是潮玩！关注一下，每天都有新收获哦！↑↑↑

最终，我们担心的事还是发生了。近期，有不少小伙伴们发现，使用部分大模型搜索的时候，它似乎没有以前聪明了，甚至会把风马牛的事，生硬地拧在一起，再一本正经地输出。其实，这并不意外，因为大模型本身并没有自主判断专业领域对错的能力。如果它在互联网中学习的话，大概率是不论对错是非，都会很认真去学习的。那么，如何保证我们的大模型干净、清纯如初呢？这就需要我们进行本地化部署了！今天，我们就与友友们一同分享下，如何打造一台家用级别的超级AI主机吧！

一、我们先来看一下，最终装机的成果吧！

超大容量的内存、PCIe5.0的固态，粗壮的显卡。别的不说，光看样子就感觉主机的性能弱不了。

这就是我们打造的家用级AI主机的鲁大师跑分，其中，它的处理器得分为940800，显卡得分为1491529，内存得分为306871，硬盘得分为371649，整机的性能得分为3110849。

在语言大模型的测试之中，它的PHI 3.5得分为4830（239.35token/s），MISTRAL 7B得分为5129（180.91token/s），LLAMA3.1得分为 4971（148.26token/s），LLAMA2得分为5087（90.38token/s）。

在文生图大模型的测试之中，它的得分为49737分，总耗时为5.026s（生成16张高品质图片），总体图片的生成速度为0.628s/image。从上述的数据来看，这套系统整体上来讲，已经接近于在线使用大模型的程度了。

细心的友友们一定发现了，我们使用了两套同品牌的硬件，分别是来自宏碁掠夺者的32GBx2 DDR5 6400MHz的内存和它家最新出品的GM9000 2TB PCIe5.0固态硬盘。以及技嘉X870主板与技嘉4090显卡。这其中，技嘉的显卡与主板，均是御三家之一。但为什么内存和固态要在林林总总的品牌之中，专门去挑掠宏碁夺者呢？

二、为什么要独爱掠夺者内存？

（一）掠夺者Hermes冰刃 32GBx2 6400MHz DDR5内存测试

因为，这个品牌不论是内存还是固态，都有着相当稳定的性能发挥。不但不会成为拖油瓶，还会助力整套系统的性能提升。特别是本次使用的6400MHz甜点频率的64GB内存，更是将频率与容量做到了家用的极致水平！

一款高品质的内存，首先它的默频不能太低，否则也会影响后续超频的性能，掠夺者Hermes冰刃就是这样，它的默频为5600MHz。

在默频之下，它鲁大师的跑分成绩也是不错的。其中内存得分为254652，硬盘得分为372013，显卡得分为1459045，处理器得分为896790。由于内存频率为默频，我们可以看出，9800x3D都没有发挥出全部的效能。

在AIDA64的测试之中，我们可以看到，这对内存的读取为54217MB/s、写入为75254MB/s，复制为51006MB/s，延迟为98.1ns。

在PerformanceTest的测试之中，它的内存得分为3515，位列全球的前15%。可见，同样是默频5600MHz还是要比4800MHz的高出了不少。

为了进一步提升性能，我们需要在BIOS里面针对内存和CPU进行一下设置。其中内存部分，我们在界面的左下角打开EXPO1和高频宽。

同时，为了进一步提升整机的性能，我们还要开启处理器的超频。在这里，我们推荐AMD 9800x3D在PBO设置里面根据处理器的体质，选择1~3LEVEL。在这里需要特别说明一下，CPU超频主要看自身的体质，但超频之后的稳定性，也需要内存去打配合。否则就会出现，CPU超上去了，内存掉链子了，最终的结果也是整机的频繁重启。而这也是我选择使用掠夺者内存的一个重要方面。

我们可以通过开头鲁大师的跑分图片，来看一下内存频率的变化对于整机性能的提升效果。其中，内存的得分为306871分，较默频提升了约20%，处理器和显卡也均小幅度的提升。

在AIDA64的测试之中，它的读写与延迟均有明显提升。其中读取达到了63801MB/s、写入达到了88057MB/s，复制达到了60547MB/s，延迟达到了71.6ns。

在所有的测试之中，PerformanceTest的测试提升最为显著，它直接将分数拉升到4162，跻身全球前1%的序列。可以说，有这样兼顾稳定与性能的内存，是整机高效运行的基础。

（二）那么，非要32GBx2的不可吗？

其实，这主要和您想跑的大模型思考维度有关。比如说，如果您想跑DEEPSEEK 70B的大模型，如果没有至少40GB内存的托底，即便显卡很牛也是会有瓶颈，甚至是无法运行顺畅的（下图）。

当下70B的DEEPSEEK，也是家用设备能摸到的最高级别的模型了吧。大内存的主要作用，就是避免内存这个中间环节成为瓶颈，从而让4090的性能得以充分地发挥。

三、补个开箱看一眼吧！

这就是本次AI跑分背后“默默”奉献的功臣，宏碁掠夺者Hermes冰刃的外箱。它一共有三款配色，我手上的这款是黑色的。右下角64GB（32GBx2） 6400MHz也代表着，它在AMD平台之下，不论是容量还是频率都近乎是顶级的。

它的背面除了一些特征外，还在标签上标明了它的时序CL32-39-39-102。

打开盒子，我们就可以看到这对内存的本体了。黑色哑光的漆面，金色的丝印及跨越式的灯带，也让它看起来相当的精致。

它采用了特挑的海力士A-Die颗粒、十层的PCB版来保障其不错的超频及稳定性。

此外，它的铝制散热马甲也十分的厚实，即便是在封闭、闷热的机箱之中，也可以用出色的散热来保证内存在超频的情况下稳定运行。

RGB灯带，是掠夺者Hermes冰刃的最大特色之一，它配备了8个独立灯光区域，能够显示1680万色，还具备了十多种灯效控制，并支持市面上绝大多数的神光同步。

四、说一下提升性能的另一位功臣吧！

除了内存之外，我们这次还使用了掠夺者神舆GM9000 PCIe5.0 固态。这也是提升整机性能，让AI跑起来更顺畅的关键一环。

它使用了全新的6nm主控，配备了独立缓存、SLC模拟缓存，使用了佰维自封的存储颗粒，具备了顶流水平的传输速度，是一种可以避免瓶颈的存在。

我们在以前也对其进行过专门的测试，从CDM的跑分来看，它的读取速度为14231.27MB/s，写入为13254.75MB/s。

其中，它的4K表现也非常亮眼，读取达到了2005KIOPS，写入达到了1602KIOPS。

在实际复制的测试之中，它的均速约在4.88GB/s。当然了，这里必须补充一句，这个速度是受另外一块固态（10000MB/s读取速度）的限制所致。若是同等规格，速度还应该更快一些才对。更快速度的固态，对于整个系统会起到一个托举的作用，而近乎满速的掠夺者神舆GM9000 PCIe5.0 固态无疑是打造高性能主机的刚需。即便是加载70B这样约40GB体量大模型时，它也能在瞬间完成。

五、以DEEPSEEK为例，看下如何部署高性能大模型

想要在本地运行DEEPSEEK大模型的方法很多，我们更推荐使用LM STUDIO。因为它的界面更方便我们使用。首先，我们需要在https://lmstudio.ai下载相应版本的LM Studio。

之后，我们在左侧的一列图标中，点击红圈之中的放大镜头。

在这里，我们就可以看到，它列出了很多的大模型。有DEEKSEEK，也有刚刚推荐的可以识别图片的Gemma 3和阿里的千问等。我们可以根据自己的需要进行选择。部署的方式也基本一致。

我们在上面的搜索框中输入DEEPSEEK，点击右侧的Download即可开始下载。整个的过程非常简单，并不需要我们人为干涉。

在模型下载好这后，我们就可以在这里进行加载。当然了，如果想要模型发挥全部的功力，还需要我们在下面进行一下细节的设置。

由于都是家用级别近乎顶配的存在，因此，我们可以毫不犹豫地将CPU、GPU的负荷全部拉满。另外，需要注意的一点是，出于运行效率的考虑，我们务必要打开把大模型“固化”在内存中这一选项！设置完成后，我们就可以开始使用了。当然，如果您需要定制自己的知识库，还需要下载Docker及Ragflow，由于过程比较繁琐，我们抽时间再和小伙伴们分享。

六、番外：来都来了，看一眼其它跑分项吧！

除了上述有关AI、内存及固态的跑分外，我们也对这台整机的性能进行了测试。在PCMARK10的测试之中，它的基本得分为10607、生产力得分为11747，数据内容创作为19117，PCMARK10整体得分为9575分。

在Speed Way的测试之中，显卡帧率为99.9FPS、最终得分为9989。

在Steel Nomad分数的测试之中，显卡帧率为91.1，Steel Nomad为9109。

在Port Royal的测试之中，它的显卡帧率为118.73FPS，Port Royal的得分为25645分。

在Time Spy的测试之中，它的显卡分数为36458、CPU的分数为15706，Time Spy的总体得分为30427。

在Fire Strike的测试之中，它的显卡分数为84336、物理分数为37993，综合分数为22043，Fire Strike的总体得分为57545。整套测试下来，给我们的感觉那就是“彪悍的主机，不需要过多描述”~

购买建议：

从今天一系列的测试中，我们可以看出，对于一台高性能的AI主机来说，除了要有不错的显卡、处理器，更重要的是要消除硬件系统中可能存在的瓶颈。针对特定AMD的系统来说，这一对来自于宏碁掠夺者冰刃的DDR5 6400MHz的32GBx2内存，无疑是足够强悍的。它的容量够大，能够容纳DEEPSEEK 70B的大模型。它的频率在AMD甜点频率的上边缘，可以让处理器性能更好地发挥，而掠夺者神舆GM9000同样是一块达到了PCIe5.0固态速度顶峰的硬盘。可以说，在内存与固态的助力之下，这套主机成为了一个没有瓶颈，且可以高速运行大模型、新老3A游戏，满足重度生产力需求的性能怪兽！

好了，本期的体验分享就到这里，我是潮玩，8小时内努力搬砖，8小时外热烈码字，这里持续分享数码新体验，承蒙欢喜，予我厚爱，我们下期再见！