什么值得买App下载 App ›
连续签到专享现金活动

【装机求助】预算3w,想组一台本地AI主机跑Qwen,求配置建议

00:04
【装机求助】预算3w,想组一台本地AI主机跑Qwen,求配置建议

最近一直在研究本地大模型部署,准备利用现有设备,再组装一台独立AI主机,搭建自己的私人AI系统。

主要用于本地大模型推理、个人知识库、AI Agent及自动化任务。预算1.5万—3万元,不一定要花满。

最近看了不少装机方案,也询了京东的实际价格,发现显卡和DDR5内存价格都不低,想请教一下站内有装机和本地AI部署经验的值友,怎样配置更合理。

一、主要使用需求

1. 本地大模型推理

重点运行Qwen3.8-Flash-Next,考虑Strata推理引擎,同时兼顾DeepSeek、其他千问模型及Ollama等推理框架。

希望在模型能力、生成速度和硬件成本之间取得平衡,后续也方便扩展。

2. 个人知识库

整合Obsidian、Zotero及现有的各类文件资料,实现自动解析、Embedding向量化、RAG语义检索、知识关联和来源溯源。

3. AI Agent与自动化

计划部署Python、n8n等工具,实现文件批量处理、知识库自动更新、编程辅助及Agent自动化任务。

4. 长期运行与远程访问

主机放在家里书房,希望安静、省电、稳定,通过Tailscale实现远程访问。

二、现有设备

* MacBook M2:日常办公、AI交互和远程管理。

* Dell OptiPlex 5080 SFF:i9-10900、16GB内存、约1.5TB存储,Intel核显。由于机箱较小,不适合安装全尺寸显卡,计划作为后台服务节点。

* 群晖DS920+:具备公网IP访问条件,负责文件存储、共享及备份。

初步考虑的分工:

Mac负责交互,新增AI主机负责模型推理,Dell负责自动化和知识库后台,群晖负责存储。

希望充分利用现有设备,避免重复投资。

三、目前考虑的装机配置

配件 初步考虑

CPU AMD Ryzen 7 / Ryzen 9

主板 B650 / B850 / X870E

显卡 RTX 5070 12GB / RTX 5060 Ti 16GB / RTX 5070 Ti 16GB / 二手 RTX 3090 24GB

内存 64GB / 96GB / 128GB DDR5

SSD 2TB NVMe TLC

系统 Ubuntu Linux

机箱、电源 优先静音、稳定、散热及扩展性

之前商家给过一套配置:

* CPU:Ryzen 9 9950X,2790元

* 散热:钛钽A090水冷,560元

* 主板:华硕X870E-CREATOR WIFI,4150元

* 内存:芝奇96GB DDR5-6000 CL30,12500元

* SSD:WD SN7100 2TB,2090元

* 显卡:华硕RTX 5070 Ti 16GB,11200元

* 机箱:先马,350元

* 电源:长城1000W金牌,690元

整机含税报价36400元,已经超预算。

个人感觉CPU、主板和高频内存投入有些偏高,未必能转化为相应的AI推理性能。

另外,也有人推荐X99 D3 + Xeon E5 + 128GB DDR3 + 双RTX 3080 20GB的二手方案,据说整机只要1万元左右。

这个价格确实诱人,但也担心改装显卡、老平台带宽、功耗、噪声及稳定性问题。

四、主要想请教几个问题

1. 显卡怎么选?

主要运行Qwen3.8-Flash-Next + Strata,RTX 5070、5060 Ti、5070 Ti和二手3090,哪个性价比最高?

16GB新卡和24GB老卡,在实际推理速度、兼容性和功耗方面差距有多大?

2. 内存64GB够不够?

Strata可以利用GPU显存和系统内存协同运行模型。如果主要运行IQ3_S量化版本,64GB是否足够?

升级96GB甚至128GB,实际收益是否明显?DDR5频率和时序是否重要?

3. CPU需要上9950X吗?

如果主要用于模型推理,Ryzen 7 7700、Ryzen 9 7900和9950X实际差距有多大?

是否应该降低CPU、主板预算,把钱更多地投入显存和内存?

4. 二手服务器方案是否值得考虑?

X99 + E5 + DDR3大内存 + 双改装3080,虽然价格便宜,但是否适合书房长期运行?有没有实际使用过类似配置的值友?

5. 多设备协同是否合理?

Dell承担后台服务,新增主机专门负责推理,群晖负责存储,这样的架构有没有明显瓶颈?有没有更好的部署方式?

五、最后说说自己的想法

并不追求本地模型完全替代Claude Opus这样的云端旗舰模型,也不准备为了跑分盲目堆硬件。

更看重以下几点:

* 本地模型能稳定、流畅运行;

* 支持个人知识库和AI Agent;

* 尽可能利用现有设备;

* 控制书房长期使用的功耗和噪声;

* 保留未来升级扩展的空间。

预算上限3万元,但如果1万多元就能达到实际需求,也没必要花满。

希望有实际部署经验的值友分享具体配置、生成速度(tokens/s)、首字延迟、功耗、噪声以及踩坑经历。

特别想听听用过Strata、RTX 3090以及二手大显存方案的朋友怎么评价。

感谢各位值友!

#电脑装机 #攒机 #本地大模型 #AI主机 #Qwen #DeepSeek #Strata #RTX3090 #群晖NAS #个人知识库

作者提示含AI生成内容。作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

评论

评论区空态插画

当前文章无评论,是时候发表评论了