先说结论:二手显卡跑本地大模型,决定的不是显卡多强,而是显存够不够。8GB 只能入门玩 7B 小模型,12GB 是性价比起点,24GB 才是个人主力档位,买之前先把“显存—模型—电源”三张表对上,卡到了再后悔就晚了。
本地跑大模型这件事,2026 年已经从极客玩具变成了很多人的日常工具。写代码、整理文档、离线问答,不用把数据发到云端,家里一台旧电脑加一块二手显卡就能跑。但二手显卡市场水很深:同名不同显存、矿卡翻新、带宽缩水,买错一张卡,模型跑不起来是小事,电源带不动、机箱装不下才是真麻烦。本篇按公开资料把显存档位和避坑清单写清楚,价格为 2026-11-21 核价的渠道参考价。
第一张表:显存决定你能跑多大的模型
本地大模型的铁律是:显存容量决定模型能不能完整放进显卡,显存带宽大致决定生成速度。模型文件多大,显存就要多大,再留 1–4GB 给上下文,留少了就会掉到内存里,速度直接崩掉。8GB 档只能入门:能舒适运行 7B–8B 的模型,比如 qwen3:8b 文件约 5.2GB,上下文不能开太大。代表显卡是 RTX 4060 级别,适合只想先试试的玩家。如果已经确定会长期用,建议直接跳过这一档,二手和新购的差价往往小于你因为显存不足而浪费的时间。12GB 档是经典入门卡:RTX 3060 12GB,带宽 360GB/s,能放下 12B–14B 的 Q4 模型,比如 gemma3:12b 约 8.0GB、qwen3:14b 约 9.3GB,余量有限但够用。国内参考价约三千多元(核价日期 2026-11-21,渠道参考价,以购买时商家页为准)。预算有限又想要更好回答的玩家,从这一档起步最划算。16GB 档是性价比之选:RTX 5060 Ti 16GB,带宽 448GB/s,能放下 gpt-oss:20b 这类约 14GB 的 20B 级模型;RTX 4060 Ti 16GB 也在这一档,但带宽只有 288GB/s,同样 16GB 生成速度明显慢一截,买前一定要看带宽,别只看显存数字。24GB 档是个人主力档位:能放下 27B–32B 的 Q4 模型,比如 qwen3:32b 约 20GB,并留出上下文空间。主流选择是二手 RTX 3090 和 RTX 4090,带宽分别是 936GB/s 和 1008GB/s。这一档的代价是功耗和体积:RTX 3090 建议电源 750W,RTX 4090 整卡功耗 450W、建议电源 850W,都是大体积三槽卡,装机前先量机箱。32GB 档是 RTX 5090,显存 32GB、带宽 1792GB/s,能放下 30GB 左右的 Q8 版 27B 模型,余量很紧。价格、功耗、散热都明显更高,整卡功耗 575W、建议电源 1000W,属于追求速度和余量的玩家,不推荐普通用户起步就冲这一档。

第二张表:买前必查的四个坑
第一个坑是同名不同显存:RTX 4070 有 12GB GDDR6 和 12GB GDDR6X 两个版本,RTX 3050 有 8GB 和 6GB 两个版本,RTX 4060 Ti 有 8GB 和 16GB 两个版本。只看型号不看显存,买回来发现模型放不下,只能再出掉。交易前让卖家拍 GPU-Z 截图,显存容量、位宽、带宽三项逐一核对。第二个坑是矿卡翻新:二手 3090 是重灾区。看三个信号:散热器螺丝有没有拧动痕迹、风扇是不是原装、核心周围的电容有没有补焊。让卖家跑一次完整的烤机加显存测试,显存报错直接 pass。价格明显低于市场价的 3090,先问为什么便宜,再决定要不要。第三个坑是电源和机箱:24GB 档的卡建议电源 750W 起步,3090 和 4090 还要看电源有没有足够的 8pin 接口;三槽卡先量机箱长度和厚度,装不下只能换机箱。电源和机箱的钱要算进总预算,别只盯着显卡标价。第四个坑是软件门槛:Ollama 官方文档要求 NVIDIA 显卡计算能力 5.0 以上、驱动 550 或更新,计算能力 5.0 到 6.2 之间的卡驱动要求 570 或更新。RTX 30、40、50 系都在门槛之上,真正要查的是主机上的驱动版本够不够新,装好驱动再跑模型,别在驱动版本上浪费一下午。

第三张表:跑起来之后怎么验证
显卡到手先别急着跑大模型,按顺序做三步验证。第一步是硬件体检:GPU-Z 核对参数,烤机半小时看温度和功耗有没有异常,显存测试跑满一遍。第二步是小模型试跑:先拉一个 qwen3:8b,确认 Ollama 能正常调用显卡、生成速度正常,再往上加模型。第三步是主力模型压测:按自己的常用场景连续跑一小时,看长上下文会不会爆显存、风扇噪音能不能接受。跑起来的日常维护也简单:驱动保持在较新的稳定版,别追最新测试版;模型文件存在固态盘上,机械盘加载模型会慢很多;多模型轮换着用的时候,记得给每个模型留好上下文余量,别把显存塞到 100%。

最后给一张选购结论
只想体验,12GB 的 RTX 3060 起步;确定长期用,16GB 的 RTX 5060 Ti 性价比最高;想当主力工具,二手 RTX 3090 的 24GB 是甜点;预算充足再考虑 4090 和 5090。显存买大不买小,带宽看清再下单,电源机箱先量好,这三句话记住了,二手显卡跑大模型基本不会踩大坑。

配图说明:本文配图均为自制信息图,显卡规格以 NVIDIA 官方产品页为准,模型文件大小以 Ollama 模型库为准;价格为 2026-11-21 核价的渠道参考价。
作者提示含AI生成内容。作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
当前文章无评论,是时候发表评论了