10月17日到10月26日,9天里,垃圾佬圈子里的本地AI内容集体从"板子"转向"卡"。10月17日,博主"ZZ是画渣"晒出一台1400元神机:“实测 30~50token/s,1400 元出头捡垃圾 X99 平台,搭配 P100 计算卡,完整装机 + Ubuntu 部署 Strata,本地跑 Qwen3.8-Flash-Next IQ3 量化版本”。 就在今天上午,有人把V100 32G单卡与双P100 16G的对比实测直接做在了华南X99-CD3老平台上:“华南X99 CD3老平台,实测V100 32G单卡 vs 双P100 16G,都是32G显存,算力体验差距居然这么大”。小红书小红书
涨价的服务器内存把"E5+大内存+寨板"变成了标配机箱;机箱装完了,卡潮才刚开始——P40、P100、V100、魔改2080Ti 22G、MI50、GTX10系,连Titan V和Radeon VII都被从退役名单里捞了回来。

为什么又是这些"电子老古董"
关键变量是一个叫Strata的开源推理引擎。MoE大模型的总参数巨大,但每个token只激活一部分专家权重;Strata把用不上的专家权重放进内存,显存只承担共享部分和活跃参数,社区甚至维护了专门的V100分支:“GPU、系统内存、磁盘做成三层流水线,让大模型在个人电脑上跑起来。社区维护的V100fork(Strata-V100)专门保住了”。 换句话说,Strata挑的不是新卡,挑的是"显存容量+内存容量",这正好踩在华南X99大内存船的节奏上:E5便宜、DDR3服务器条插得起128G,16G/22G/32G显存的退役计算卡因此被重新估值。有图吧玩家早已把这当成日常:“最终还是捡回来了x99,图便宜上了两颗2673,配了8×8G插满的快乐,三张P100 16G,有一说一这玩意还没16G的内存条贵”。知乎小红书

第一本账:卡价,窗口正在收窄
10月24日的三卡横评把现价摆了出来:“而只有480块钱的P100,甚至也比线上的Qwen3.8-flash便宜好几倍,这你敢信”? 想上短卡的用户也有参照:知乎装机号盯上了闲鱼流出的ITX定制版——“498元!咸鱼流出ITX版特斯拉 P100 16GB显卡,短款定制版,仅15cm卡长,还是双风扇版本,可轻松运行14B大模型”!小红书知乎
真正抬得快的是大显存档:10月8日那条晒拆机V100 32G的笔记里,评论区还在说:“某宝3500”。 到10月17日,神机笔记的评论区已经变成:“v100 32g都4000块钱了,确实,涨价太多了,现在性价比不高了”。 P40 24G的行情则被同一批评论区描述为"价钱是p100的两倍还贵一点,24g才占一个卡槽"。整机参照价一并摆出:单卡P100的X99神机1400元出头;4张P100的整机,“5000元钱,Qwen3.8,128k上下文,40t/s”。结论和内存那轮一模一样:捡漏窗口吃的是时间差,不是产品。小红书小红书

第二本账:速度,都是"Strata赛道"里的数字
以下数字全部是发帖人自测,口径必须看明白。4张P100那台机器,作者特意交代了功率和短板:“每张卡的功率基本上不到100W,把散热做好,拿来自己用用还是挺爽的”。 而单卡玩家这边,2080Ti 22G配48G内存、启动参数加上–resident-experts后,IQ3_XXS量化可以稳定45+ token/s,int8精度下上下文还能拉到256K——“引擎地址:https://github.com/Niko1221/Strata启动参数加:--resident-experts(48g内存支持IQ3_XXS的关键)”。 再往大内存方向堆,Strata 0.1.43配DDR3 128G加2080Ti 22G,“IQ3_XS量化模型效果实测,DDR3128GB+2080TI22GB,速度50+Token/S”。小红书哔哩哔哩哔哩哔哩
但别忘了1400元神机作者自己的原话:"P100 的 prefill 速度偏弱,这套方案更适合 Strata,对其他大模型兼容性一般。“对照也在评论区:有人晒5080跑同一模型也就50上下。老卡的"45+”、"50+“是Strata这条特定赛道的上限,不是通用性能——生图"勉强能用,速度一般”,真挂上agent网关写代码,“你本地搭一个模型网关搞个agent,写写代码就露馅儿了”。
第三本账:电费,以及电费的对面
10-24那期用功率计量插座做了整机口径实测,作者说明得很清楚:“本期使用电量计量仪实测!电费统计口径为整机功耗,包括显卡、主板、CPU、风扇、硬盘等”! 同一台测试机上给出的结论是V100比API便宜17倍、6千万token电费7毛。小红书
但同一批评论区给出了算术的另一面:“4000 块蹬线上 API 能蹬很久,而且还有各个平台的免费羊毛可以薅”。 电费便宜只有在"每天真的产生海量token、且主要跑文本"时才成立;低频用户省下的电费,回不了卡价的本。供电预留还有两个口径:4卡P100笔记说每卡基本不到100W,今天的V100 vs 双P100实测则提醒"电源和散热要按双卡功耗预留(单卡250W,两张就是500W+)"——一个是轻载实测,一个是满载上限,配电源按后者。小红书
第四本账:插卡门槛,华南X99船上的具体坑
今天那条双卡对比帖把X99平台的门槛列得很清楚:双卡要确认PCIe通道按16+16或8+8分叉跑满,“否则跨卡通信成瓶颈”。 BIOS里还得统一UEFI并开启Above 4G解码,另一个装过P100的作者吃过不认卡的亏,写教程时第一件事就是"不装P100,进入BIOS,一定要保证4G以上地址空间解码(Above 4G Decoding)开启,否则大概率不认卡"。小红书知乎
卡本身还埋着两类雷。7月有人买到标称32G的P100,“卖家说是p100 32g,我死活打不上驱动索性直接拆了看看,结果发现是张双芯卡”。 P100官方没有32G单卡规格,见"32G"字样就该警惕;魔改大显存卡那头,维修站也发过"2080Ti 22G高负载花屏掉驱动根本无法正常使用"的检修案例。拆机卡没有散热器,涡轮改装和导热垫重贴都是必做功课;系统口径上,神机用的是Ubuntu+Strata,更早那轮T8翻车视频评论区的老玩家共识是"跑AI肯定是用linux,一样的配置,decode和 prefill比windows高一截"——这些折腾成本,都得算进同一本账。小红书

什么人该上船,什么人先别动
已有128G X99船、只跑文本、每天token量大:480的P100 16G是目前唯一能立刻上船的票,但先接受两件事——它prefill慢、基本只吃Strata;买第二张之前先看清主板双卡分叉。
想生图、跑agent、当主力生产力:老卡满足不了。今天实测帖的结论已经摆好:单一大模型选V100 32G,多路小模型并行选双P100;别为"32G起点论"和"24G起点论"的口水预付溢价。
还在犹豫:先别买卡。用两周API和免费额度,把真实的日均token数出来,再回来对这四本账——低频用户大概率会发现,自己根本没有需要本地部署的事。
继续观察三个信号:拆机卡横评作者的P40/V100测试后续;"本地AI杀疯了!老显卡集体涨价"那篇的涨价名单会不会继续加长;以及V100 32G是否站稳4000元上方——卡价一旦复制DDR3那条曲线,这波"退役卡捡漏"的窗口就和内存捡漏窗口一样,关了就是关了。
这艘华南金牌的船,其实上过来三波人:第一波为E5的44线程,第二波为服务器内存,这一波,为的是机房退役下来那张没人要的卡。卡换了,规矩没换——寨板圈的便宜,吃的是"别人的电子垃圾和你的生产工具"之间的信息差,而信息差这东西,从来都是有保质期的。