什么值得买App下载 App ›
连续签到专享现金活动

九年前的V100反超3万6的Mac:赢在128K,输在驱动

6951 元,48GB 显存,128K 上下文跑赢 3 万 6 的 Mac Studio。

先别急着去闲鱼。

数字先摆平

开发者 Devon Bray 用三张二手 Tesla V100 16GB 攒了台本地 AI 主机:卡 655 美元,主板 211,电源 147.7,CPU 28.2,核心硬件合计约 1042 美元,折合 6951 元。对面是 Mac Studio M5 Max,40 核 GPU、128GB 统一内存,5399 美元,约 3 万 6。哔哩哔哩

九年前的V100反超3万6的Mac:赢在128K,输在驱动

两边跑的是同一个 Qwen3.6 35B 的 8bit 量化、同一套 llama.cpp,只改上下文长度:

  • 4K:100.8 对 105.5,Mac 快

  • 32K:89.4 对 91.1,还是 Mac 快

  • 64K:83.5 对 78.5,老卡开始反超

  • 128K:72.7 对 61.3,领先约 19%

Devon 把 70 tok/s 当作还能实时交互的门槛线,128K 时 Mac 掉到线下,V100 还在线上。这组数字经快科技 11 月 20 日报道,原始出处是他自己晒的采购单。哔哩哔哩

卡没变强,是账换了一格

V100 用的是 HBM2 显存,带宽比同代消费卡高得多;而跑大模型推理,先卡住的是显存容量,其次是显存带宽,然后才是算力核心数量。哔哩哔哩

九年前的V100反超3万6的Mac:赢在128K,输在驱动

带宽能差出多少?三张同样标 16G 显存的卡,官方规格页上的数字是 960 对 288,差了约 3.3 倍,显存容量却一个字节都不差;有人干脆把选卡口诀压成一句话——带宽决定跑多快,内存决定跑多大,显存决定跑多稳。知乎哔哩哔哩

另一半在模型。Qwen3.6 35B 是 MoE 架构,总参数 350 亿,但每生成一个 token 只激活大约 30 亿,算力压力远小于同规模的稠密模型。哔哩哔哩

不是孤例。同期有人用两张 750 元的 MI50 计算卡加四条 288 元的 DDR3 拆机条,合计 2700 元跑 125B 的 MoE,decode 65 tok/s;同一张 4080 SUPER 只有 58,而那张卡的价格够配三台这样的机器。还有更直白的一组:四张 V100,2025 年架好,用 llama.cpp 跑 QwQ-32B 的 Q4_K_M,25 tok/s;2026 年卡没换,改用 1Cat-vLLM 跑 Qwen3.8-Flash-Next 的 NVFP4 版,8K 上下文单路冲到 202 tok/s。这条出自一家卖 V100 一体机的厂商,数字自己掂量。哔哩哔哩哔哩哔哩

三个前提,少一个就输

把模型换成 Qwen3.6 27B 的稠密版本,硬件一个字没动:4K 上下文只有 24.3 tok/s,128K 掉到 14.2——卡没变,模型换了,速度掉四倍。哔哩哔哩

所以老卡翻身要三件事同时成立:模型是 MoE、量化压得够低、你真吃长上下文。少一个,Mac 就赢回去——短上下文那两栏本来就是它更快。

省下的三万换成了什么

一份双 V100 的真实搭建记录写得很细。硬件真不是问题:SXM2 加 NVLink、水冷,满载才 50 多度,离 87°C 降频线还差三十多度。坑全在软件。

驱动只能锁死在 582.78——Volta 支持止于 R580,CUDA 13 把 sm_70 的离线编译支持删了,而 WSL 那条路又要求 R570 以上,582.78 正好卡在中间那一小段。不敢升:Windows 驱动更新可能把模式重置回去,两张卡会直接从 WSL 里消失。llama.cpp 官方的 Windows 预编译包只带 PTX、没有 sm_70 的真机码,V100 上根本跑不了;更阴的是 CUDA DLL 加载失败会静默退回 CPU——不报错、日志不提示,只是 nvidia-smi 里显存为 0,然后慢得离谱。知乎

服务器卡很多型号没有消费级显卡那样的主动散热,Devon 给每张卡单独做了 3D 打印风道,再加装额外风扇才把温度压住。1500W 的电源不是标配,旧平台的体积、噪声、耗电和配件成本,都要一起算进总账。哔哩哔哩

显存也得重算。Q5_K_M 的 27B 双卡每卡占 9–10GB,16G 卡扣掉 CUDA context 和激活峰值只剩 5–6GB,一次长 prefill 就 OOM——启动成功、发长 prompt 崩,退到约 15.4 GiB 的 UD-Q4_K_M 才腾出余量。想顶满 256K,冷 prefill 按实测量要大十几分钟,只能留作离线档。也不是没有反对声音:V100 本来是给 CFD 搞 FP64 计算的,多卡配置起来超级麻烦,太老了,其实不适合 AI。知乎知乎

九年前的V100反超3万6的Mac:赢在128K,输在驱动

所以

三万差价是真的,128K 反超 19% 也是真的,但都只在一条很窄的缝里成立:MoE、低比特、长上下文,外加你愿意自己找 kit、锁驱动、打印风道。

老卡的硬件没坏,坏的是它已经不在任何官方支持列表里了。能折腾,这是条真路;想省事,多花的钱买的是安静、保修,和"装上就能跑"这五个字。

评论

评论区空态插画

当前文章无评论,是时候发表评论了