什么值得买App下载 App ›
连续签到专享现金活动

二手V100集群跑DeepSeek速度超入门一体机,普通人能抄作业吗?

一名海外律师把12张九年前的二手显卡攒成AI集群,跑出了让新款一体机难堪的输出速度。"穷人法拉利"的作业能不能抄,答案藏在这套集群的三本账里。

先给结论:速度优势是真实存在的,国内外都有独立实测相互印证;但它是"单发"口径下的成绩,真正让老卡翻身的是今年才成熟的开源推理引擎,而不是卡本身。抄作业的门槛不在下单,而在部署能力、电费账单和坏卡风险——真正适合抄的,只有"因隐私必须本地跑、且享受折腾"的那一小撮人。

184 tok/s是怎么来的,跟谁比

11月20日,Reddit用户、执业律师u/TumbleweedNew6515发帖晒出私人AI服务器:用12张二手英伟达V100显卡搭建,本地运行DeepSeek-V4.1-Flash,整套设备斥资9,450美元、约合6.3万元人民币。他自称这一成绩快过任何已发布的4倍DGX Spark堆栈、是3台Spark的两倍而价格只有一半,单代码流速度达到157-184 tok/s,读取128K文件仅需28秒。11月21日,"律师花6万用二手显卡自建AI"的话题被多家科技媒体转述跟进。微博哔哩哔哩微博

二手V100集群跑DeepSeek速度超入门一体机,普通人能抄作业吗?

对比要先把口径摆平。律师的157-184 tok/s指单个请求的生成速度,而一体机方案的公开压测通常报整机总吞吐:11月19日一份4×DGX Spark(GB10)一体集群的实测报告里,短对话场景8并发下整机输出吞吐为139.62 tokens/s,摊到单请求不足20。只有90%前缀缓存命中的84K超长输入场景,这套一体集群才达到全场测试最高的226.68 tokens/s——"单发快过多并发全家桶"的反差因此成立,但两组数字并不是同条件对测。哔哩哔哩

国内玩家提供了独立样本。B站UP主"一猫之下科技"11月12日实测:4台二手Dell C4140、16张V100通过40G网络互联,单发203 TPS且全程无加速。更轻量的样本来自"AI练习生x顺子":仅两张无NVLink的V100 32GB跑176B参数MoE模型的IQ3_S量化版,解码中位172 tok/s、峰值190.3,同场景追平标价四万多元的RTX 5090。哔哩哔哩哔哩哔哩

二手V100集群跑DeepSeek速度超入门一体机,普通人能抄作业吗?

但并发一上去,老卡兼容层的代价就显形了。GPUStack团队10月底用8张A100部署同一模型,单流输出约129 token/s、100万token上下文可用,不过在高并发场景下延迟上升明显,平均并发458时首token延迟达到36.4秒。这套"穷人法拉利"擅长的是单人、长上下文、低并发,不是给全公司当服务。知乎

真正变了的是引擎,不是卡

V100是2017年的数据中心卡,而DeepSeek V4.1 Flash的权重按FP8存储、专家层用FP4。GPUStack的部署记录写得很直白:这类较早架构跑这种权重,不能依赖硬件原生支持,只能由软件完成权重格式转换和计算路径适配。同一批四张V100,2025年用llama.cpp跑32B量化模型只有25 token/s。知乎哔哩哔哩

换个引擎就是另一个世界:用1Cat-vLLM 1.5.4跑NVFP4版权重,还是那四张卡,8K上下文单路冲到202 token/s。提速的手段都在开源侧:FlashAttention少读写显存、注意力头拆分并行、多token预测投机解码,一轮吐出好几个token。到8月底,V100支持NVFP4权重已经是社区的公开玩法。1.5.2版更是把4卡单流峰值推到500 tok/s。换句话说,律师花6.3万买到的性能,大半是开源生态今年把老卡"重新计价"的红利——引擎仍在快速迭代,教程、排障都要自己动手。哔哩哔哩哔哩哔哩哔哩哔哩

二手V100集群跑DeepSeek速度超入门一体机,普通人能抄作业吗?

6.3万背后,还有三本看不见的账

第一本是采购账。快科技11月报道国内一位律师淘8块二手V100搭全离线私有AI服务器,单卡仅2880元、总显存256GB,可覆盖六成日常AI工作流。想更省,"芥末实验室"给出过四卡V100底板加液冷整机约6000元的DIY样板。对照组是一体机一侧:DGX Spark自费入手时3万6、如今售价已接近5万。3到4台就是十几二十万元——老卡集群在价格上确有硬优势。微博哔哩哔哩哔哩哔哩

第二本是电费与场地账。四张V100满载约1200W、电源要配到1600W以上。16卡集群的评论区里有人实测待机功耗就有700W。按数千瓦连续运行估算,一天几十度电并不夸张,“电费比API还贵"是被顶得最高的质疑之一——对轻度用户,官方API和各类免费额度本来就把成本压到了地板。噪音和散热同样是门槛:有玩家调侃"家里不用开暖气”,这玩意放不进宿舍和普通书房。哔哩哔哩哔哩哔哩

第三本是可靠性账。视频评论区点赞最高的提醒不是跑分,而是"不考虑多少电,考虑V100几天坏"。这批卡是数据中心退役多年的老核心,坏了没人兜底,不会自己换卡修卡的个人,整套系统可能比模型输出先崩溃。哔哩哔哩

所以,普通人能抄吗

先看这些律师为什么这么做。国内那位的答案很直接:绝不让绝密文件出办公室。这是隐私驱动的刚需,不是极客的玩具;但能把这套东西落地的人,恰恰也不是普通人。微博

对大多数人,判断可以简单粗暴:没有"数据绝对不能上云"的红线,就抄不了这个作业,API和免费额度更便宜也更省心;有隐私刚需、愿意折腾、用量稳定偏单人长文本的,可以从一两张二手32G V100或一台退役工作站起步,先验证引擎稳定性和坏卡承受力,再谈堆到12张。这件事对普通用户更现实的价值是一个观察信号:开源引擎正在把存量老GPU重新拉回可用资产,下一轮本地AI的成本战,未必需要买新卡来打。

评论

评论区空态插画

当前文章无评论,是时候发表评论了