什么值得买App下载 App ›
连续签到专享现金活动

5090涨到4万5:无显卡迷你主机跑120B大模型,靠谱吗

今早的显卡日报又带来坏消息:RTX 5090/D单日涨2200元,价格再次全面上涨,5090的报价已经到4万5了。于是「无显卡」路线被越来越多人盯上:买一台统一内存的迷你主机,在本地跑大模型。哔哩哔哩哔哩哔哩

5090涨到4万5:无显卡迷你主机跑120B大模型,靠谱吗

这条路不是噱头,它真能跑5090跑不了的模型。但适不适合你,得先过三道关。哔哩哔哩

第一关:容量,先把模型装进门

核心是统一内存:CPU和GPU共用同一块内存,内存就是显存。AMD AI Max+ 395的迷你主机配128GB,更新BIOS后最多能划96GB当显存;而5090只有32GB显存,连120B模型都部署不了。gpt-oss-120b的权重约60GB,市面上没有任何一款民用显卡装得下它,这台小主机却能直接加载。司波图10月实测192GB的新旗舰(AI Max+ PRO 495),连Q4量化的DeepSeek V4 Flash(284B)和GLM-5.3-Flash(320B)都跑通了。注意:192GB是共享容量,Windows下真正能给模型用的约176GB。知乎知乎哔哩哔哩

第二关:速度,容量装得下,带宽决定说得快不快

395的内存带宽只有256GB/s,约为5090(接近1.8TB/s)的七分之一。大多数百亿级MoE模型在llama.cpp上只有15 token/s上下的输出,235B的Q4量化版更慢,实测8-9 token/s。解法有两个:一是挑超稀疏MoE——gpt-oss-120b总参数117B、激活只有5.1B,社区优化后decode能到47.5 token/s;二是换专用引擎——社区为395特调的halogen被称为「杀手级应用」,司波图实测Qwen3.8-Flash-Next在特定引擎下,百万token上下文仍能保持约60 token/s。但halogen只支持Linux,建议跑无头服务器模式,得用另一台电脑调用它。知乎知乎哔哩哔哩

5090涨到4万5:无显卡迷你主机跑120B大模型,靠谱吗

第三关:价格,别以为你在捡便宜

395的128GB无硬盘版本一度探底到1万元,随后被内存涨价一路推回2万以上,有些机型到了26000左右;英伟达DGX Spark也因内存紧张,从3999美元官宣涨到4699美元,国内整机直奔4万。「无显卡」路线同样在被内存行情追着涨。本周内存报价总算开始小幅回调。能不能传导到整机,还得观察。知乎知乎哔哩哔哩

5090涨到4万5:无显卡迷你主机跑120B大模型,靠谱吗

所以,谁该买?

想在本地跑百亿级MoE推理、看重离线隐私、能折腾Linux,395迷你主机仍是能跑百亿模型的路线里最便宜的入场券。想训练微调、想Windows开箱即用,别买——ROCm生态还在追赶,训练基本没戏,快的引擎又只支持Linux。知乎知乎

显卡价签一天一变,带宽的物理账不会变。下单前先写清楚:你要跑哪个模型,能接受每秒几个token。

评论

评论区空态插画

当前文章无评论,是时候发表评论了