年末促销季一开,本地推理的信息流突然变得拥挤:二手3090、魔改48G大显存卡、“192GB显存"小主机,个个喊着让你"显存自由”。但知乎那个167万浏览的问题里写着"很多人认为本地部署一个大模型,就实现token自由,就可以干活了"。冲进来最快和后悔最快的,是同一批人:按游戏逻辑算预算的玩家,和忽略隐性成本的捡漏党。掏钱之前,五个最贵的坑先说清楚。知乎
坑一:还在用旧公式算显存
大模型推理时显存里要装模型权重、KV Cache和1-2GB运行时开销,主流4bit量化按"每10亿参数约0.6GB显存"算,这只是底线。但2026年MoE+专家卸载已经改了规则:8G显存配大内存就能跑Qwen3.8-Flash-Next这类125B模型。一张3090加64G内存则把82GB的量化模型跑进了可用范围,内存容量和带宽成了新的硬通货。只留显卡预算、不给内存留钱,照样卡在门口。知乎哔哩哔哩知乎

坑二:拿游戏逻辑买游戏卡
推理的生成速度大致正比于显存带宽:带宽第一、显存容量第二、Tensor算力第三,这个优先级和打游戏正好反着来。所以同价位,16G显存的4060 Ti比12G的4070舒服得多——游戏卡宣传的帧数卖点,在这条赛道上不作数。知乎知乎
坑三:捡漏党身下的三座山
二手3090六千到八千拿下24G显存+近1TB/s带宽,性价比公认突出,但捡漏前先认清风险:魔改卡没能力提供质保。而且它不原生支持FP8,新量化格式只能走折中方案。350W级别的功耗还得配足电源。更"香"的P40、V100S服务器卡属于硬核玩具:风扇改装、被动散热、驱动功耗都是坑,没装机经验别碰。知乎知乎知乎

坑四:为营销话术付钱
笔记本NPU宣传"XX TOPS AI算力",但现状是NPU对本地大模型推理基本帮不上忙,实际跑LLM用的还是GPU和CPU,选购时直接忽略。统一内存小主机同理:192GB的机器确实跑通了Q4量化的320B MoE,但那是CPU/GPU共享的统一内存、并非独立显存,Windows下可分配给模型的容量大约只有176GB。把"能跑"当成"流畅",建议先深呼吸。知乎哔哩哔哩

坑五:隐性成本吃掉半个预算
一位做私有化部署的老哥总结得很直白:整机的钱一半在显卡,另一半藏在电源主板散热里。3090整机建议850W金牌电源起步,BIOS里开启Above 4G Decoding和Resizable BAR,内存双通道32G起步,NVMe盘预留300G以上;再给模型目录加一条杀毒白名单——"为什么别人加载30秒我要5分钟"的答案常藏在这里。知乎知乎
最后一条心法,也是万字装机指南作者反复强调的一条:“小模型流畅跑"永远好于"大模型卡着跑”。花钱前确认你的理由至少占隐私、离线、重度使用之一——一条都不占,云端API真更香。知乎
当前文章无评论,是时候发表评论了