买不起新卡、内存暴涨:本地AI圈开始捡数据中心的退休显卡

源自117位全网作者

10:01

最近本地部署圈里最抢手的,居然不是新一代大显卡,而是一批服役快十年、早就从数据中心退下来的老卡(Tesla V100、P100)。评论区一句总结很有画面感:“老显卡没想到退休前还能这么扬眉吐气一把。”

为什么会火?因为大背景很扎心:这轮内存涨价是真事,DDR4 颗粒从 1.65 美元涨到 24 美元。从零装一台新机器的账越来越难看。于是捡垃圾成了另一条路:把“没人要”的数据中心旧卡,捡回来当大显存用。36氪哔哩哔哩

买不起新卡、内存暴涨:本地AI圈开始捡数据中心的退休显卡

先看两个真实作业

作业一:国外博主花了约340美元收了四张二手Tesla P100,凑出64GB HBM2显存。 平台全是洋垃圾:X79主板、i7-3930K、16GB DDR3。成品效果:跑Qwen3.8 27B带256K长上下文,生成速度40-50 tokens/s,64K长提示词处理能到500+ tokens/s。YouTube

买不起新卡、内存暴涨:本地AI圈开始捡数据中心的退休显卡

作业二:国内玩家1Cat把16张V100跨4台机器组集群,不跑混推直接让DeepSeek V4.1突破200 TPS。评论区甚至聊到了深水区:这个规模的瓶颈是40G互联在每个token上的all-reduce,想再往上要么换100G、要么缩成机内TP4。捡垃圾捡到后面,拼的是并行策略。哔哩哔哩

最硬核的可能是知乎上一个案例:美国律师用8张V100搭了台数千瓦功耗的服务器,动机不是为了省API钱,而是担心案卷上传云端会触发证据开示里的“特权放弃”——对他来说,本地部署是合规刚需,不是爱好。知乎

评论区提醒你的三道坎

第一坎:你买的不是卡,是一堆零件。 数据中心卡没有风扇,要自己上3D打印风扇罩;供电用EPS转接,教程里反复强调“这步别偷懒”;老平台还得改BIOS开Above 4G Decoding。软件更脆弱:P100连Tensor Core都没有,靠的是社区魔改版llama.cpp和vLLM分支才能跑起来。哔哩哔哩

买不起新卡、内存暴涨:本地AI圈开始捡数据中心的退休显卡

第二坎:退休风险。 有评论说得直白:“退役老核心,谁也不知什么时间会噶。”没有保修,坏了看命。而且已经有人在哀嚎“V100又要涨价了”——捡垃圾的窗口期从来不长。

第三坎:电费账。 数千瓦功耗24小时开着,电费在燃烧。评论区最清醒的一笔账:有隐私的很需要,性价比极高;没有隐私需求的人对这些嗤之以鼻。哔哩哔哩

到底谁该抄这个作业

旧卡方案的本质是大显存、低速度、折腾量大。如果你的需求是8G、16G显存跑个中型模型,老老实实盯新消费卡+轻量量化路线更稳,旧卡不是你的银弹;但如果你有真实的隐私/合规刚需、动手能力强、能接受“模型想得慢一点”,那这批十岁高龄的“退休卡”,眼下确实是本地AI最便宜的入场券。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章