1550元的迷你主机跑35B,两万出头的跑120B:本地AI,先分清「能跑」和「能用」

源自240位全网作者

08:36

一台二手价1550元的迷你主机,16GB内存,没有独显,跑起了35B的模型。

热缓存后,首字1.3秒,解码4.27 tokens/s。日常聊天,这个速度能接受。

可把它接到编程Agent后面,数字立刻变了。预填充只有11.5 tokens/s。一个Agent请求的系统提示词约11000 tokens,光把这些话读进去,就要16分钟。知乎

这16分钟不是模型在思考,是你盯着屏幕等它开口。换成双通道内存,预填充翻倍到约23 tokens/s,16分钟变8分钟,还是没法用。

同样是16GB,清仓叠加补贴的Mac mini M4要三千五到三千七,这台二手盒子只要不到一半。差的是品牌、系统、静音和带宽。但容量门对谁都一样:16GB,就是7B。

1550元的迷你主机跑35B,两万出头的跑120B:本地AI,先分清「能跑」和「能用」

先过两道门

大模型在本地跑,先过容量门:模型能不能装进内存。再过带宽门:每吐一个字,都要把用到的权重从内存里读一遍,读得越快,吐得越快。

估算公式很朴素:理论tok/s ≈ 内存带宽 ÷ 模型体积,再打六到八折。

按这个算法,16GB内存对应7B模型,24GB对应14B,48GB才够32B。知乎

8GB不要碰。系统自己占3到4GB,一个7B模型4.5GB,加载完就顶满,剩下的只有卡。

那台1550元的机器凭什么跑35B?因为它是MoE,总参数35B,每个token只激活约3B,剩下的专家权重放在SSD里按需换页,内存峰值只有3.77GB。这是特例,不是通用配置。换成同规模的稠密模型,16GB连加载都困难。

所以「能跑」的门槛可以很低,「能用」的门槛很高。真正卡住人的,不是CPU型号,也不是NPU那几十TOPS,是内存容量和带宽。

最尴尬的是中间那档

12999元的Mac mini M5 Pro 24GB,带宽307GB/s,容量却只到14B。多花的钱,买不到多出来的容量。知乎

再往上一档,两万出头,才是128GB统一内存的锐龙AI Max+395迷你主机。256GB/s,120B模型约11 tokens/s,70B能比较舒服地跑。

1550元的迷你主机跑35B,两万出头的跑120B:本地AI,先分清「能跑」和「能用」

再往上,DGX Spark,128GB、约273GB/s,三万起;Mac Studio M5 Max,128GB能上120B级,价格另算。

1550元的迷你主机跑35B,两万出头的跑120B:本地AI,先分清「能跑」和「能用」

从1550到两万,价格翻了十几倍,能装的模型从35B到120B,吐字速度从4.27到11。贵出来的钱,主要买的是容量,不是速度。中间那些24GB、32GB的机型,24GB卡在14B,32GB装得下32B却跑不快,是最容易被「AI PC」三个字带偏的一档。

内存涨价,选择反而简单了

2026年第三季度,国内笔记本线上均价7759元,同比涨13.4%。 5000元以下的机器,正在从热销榜上消失。英特尔判断,这轮从2025年四季度开始的涨价,至少持续到2027年上半年。第一财经

原因不复杂:存储厂把产能挪给HBM和服务器,消费级DRAM、NAND被挤到后面。

迷你主机吃的是同一批内存和闪存,躲不开。更麻烦的是,128GB的LPDDR5X直接焊在主板上,买的时候多大,用到报废就是多大。

想留升级余地,只能选带SO-DIMM插槽的机型。阿迈奇F5A、铭凡AI X1 Pro都标了最高128GB;零刻SER9 Pro、极摩客EVO-X1则是板载LPDDR5X,买定离手。IT时代网

所以现在买本地AI迷你主机,顺序应该反过来:先定你要跑的模型,再算需要多大容量、多少带宽,最后才看机箱和CPU。

只聊天、偶尔试7B:1550元的二手16GB够了,别多花。

天天用编程Agent:16GB直接排除,至少48GB内存,或者老老实实用云端。

要跑70B以上:迷你主机里只有128GB统一内存这一档,两万出头起步。

盒子的大小,早就不是门槛了。门槛在内存里。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章