1400元的机器、十年前的卡:本地125B大模型的穷鬼门票

源自182位全网作者

09:09

新卡越等越贵。DRAM 短缺,N 卡从数据中心级到消费级普涨 20%~50%,据说后面还要再涨 30%。连评论区都有人发现,十年前的亮机卡都跟着涨了价。知乎

但本地 AI 玩家没盯着新卡。10 月以来,垃圾佬圈子火了一批"退休老人":数据中心淘汰下来的计算卡。

1400元的机器、十年前的卡:本地125B大模型的穷鬼门票

1400 元的机器,跑 1250 亿参数的大模型

最疯的一个实测长这样:X99 魔改主板、E5-2673V3、DDR3 服务器内存,加一张 P100 计算卡,全套 1400 元。P100 是 2016 年的卡,今年整十岁,没有视频输出,二手价四五百块。哔哩哔哩微信公众号

1400元的机器、十年前的卡:本地125B大模型的穷鬼门票

就这么个东西,跑 Qwen3.8-Flash-Next——1250 亿参数,IQ3 量化,搭 Strata 引擎,实测平均 30+ tokens/s,峰值 50。聊天够用,还能接 AI Agent 生成 3D 场景。哔哩哔哩

预算多一点的,算另一笔账。两张二手 V100-32G,跑一个 1760 亿参数的 MoE 模型,解码中位 172 tok/s,同口径追平卖四万多的 RTX 5090(170.5)。UP 主很老实:190 是峰值,日常体感 78~93 tok/s。账单六千出头,还是先下手价——按现在闲鱼单卡最低 3700,两张得往八千去。哔哩哔哩

十年前的卡,凭什么还能打?

因为规则变了。大模型推理,吃的不是算力,是显存容量和带宽。拿 Qwen3.8-Flash-Next 来说:体内 24576 个专家,每个 token 只激活 10 个。Strata 把热专家塞进显卡,冷专家放内存,CPU 和 SSD 各干各的。这套体系下,双 V100 的 64GB 显存能把全部专家权重驻留,随叫随到;5090 单卡 32GB 只能装下一半,剩下的要跨内存去找。一句话:买新卡是为算力付钱,淘旧卡是为显存付钱。知乎知乎哔哩哔哩

1400元的机器、十年前的卡:本地125B大模型的穷鬼门票

先别急着下单,三盆冷水

第一,软件支持在收缩。CUDA 13 删掉了 Pascal 架构支持,P100 想跑起来得自己编译镜像——有人为此编了 4182 个 kernel。V100 也好不到哪去:SM70 架构没有 FP8 张量核,标准 vLLM 支持极差,得靠 1Cat-vLLM 这类社区分支。今天能跑,明年谁说得准。哔哩哔哩知乎

第二,体验要打折。P100 预填充弱,跑 agent 任务首轮等得久。卡没有视频输出,还得再配一张亮机卡;被动散热没机箱风道就是烤,上 1 万转暴力风扇,噪音直接把你送回机房。评论区有人提醒:老卡跑扩散模型也别指望,视频生成免谈。哔哩哔哩知乎

1400元的机器、十年前的卡:本地125B大模型的穷鬼门票

第三,垃圾也在被抬价。V100 三月份 2200 块能拿下,如今最低 3700,单卡溢价出现 1400 元。P100 几个月前才 300 多。更麻烦的是,计算卡不像游戏卡保值,玩两年想出手,基本出不掉。知乎微信公众号

所以,到底谁该买?

如果你是折腾党、有数据隐私刚需,或者主要跑改写、翻译、分类这种批量慢活——这张门票确实便宜,可以上。知乎

如果你想开箱即用、指望跑长链路 agent,或者冲着视频生成去——别为难自己。有调侃评论说得好:1400 块能买 280 个 Gemini Pro 账号,何必受这个罪。哔哩哔哩

AI 这波浪潮最有意思的地方在这:新卡一路涨价,反倒把一群服役十年的退役铁疙瘩,盘出了第二次生命。它不见得能兑现"好用",但它足够便宜、足够好玩,还有那份把数据留在自己家里的底气。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章