「4090算力翻倍」刷屏这天,我把11组实测数据摊开了算:肉在预填充,Token生成一点没动

源自9位全网作者

15:15

今天你的AI信息流大概率被同一个话题刷过:RTX 4090算力翻倍、3090"只开了一半"、一条命令白嫖60%性能。起因是GitHub上一批挖英伟达GPU底层限制的开源项目,最热的gpu-unlock-ada两天攒下2.7k Star。本地跑模型的圈子里,"旧卡免费升级"的空气已经开始热起来了。哔哩哔哩36氪

「4090算力翻倍」刷屏这天,我把11组实测数据摊开了算:肉在预填充,Token生成一点没动

但"翻倍"这两个字,拆开看水分不小。我把36氪/机器之心的长文、四个GitHub项目的实测报告、以及目前唯一一组公开的大模型端到端数据全部对了一遍,结论先放这儿:被解锁的是指令吞吐率,不是你的推理速度;真正能吃到肉的是预填充和炼丹,逐Token生成纹丝不动。36氪

一、解锁的到底是什么:不是超频,是一条被人为踩住的速度限制

这批项目(Ada架构的gpu-unlock-ada、Ampere的gpu-unlock、Turing的turing-unlock,外加一个Windows方向的AD103_win_unlocker)做的是同一件事:英伟达部分GeForce显卡的Tensor Core在"FP16/BF16输入、FP32累加"这类混合精度运算上存在指令发射速率限制,GPU内部用SS0/SS1两个受保护的寄存器控制这条路径的油门。开发者借GPU安全启动固件里的漏洞(技术路线来自此前CMP矿卡解锁的V67玩法,用ROP改写权限掩码)拿到写入权限,把速率配置改掉,再经过一次PCIe功能级重置(FLR)让配置生效——之后完全没动过的NVIDIA官方驱动照常接管。不换硬件、不刷BIOS、不加功耗墙、不超频,4090全程锁在450W。36氪

换句话说:这不是把榨干的卡再榨一遍,而是英伟达本来就把这条计算路径人为限速了,现在有人把限速脚本开源了。

二、数据摊开算:指令层翻倍是真的,端到端翻倍是没影的

测试层级

显卡

解锁前→后

真实增幅

Tensor Core指令吞吐

4090(FP16/32acc)

165.6→331.6 TFLOPS

≈2.0×(独立复测160.4→320.4)

实际矩阵乘GEMM

4090(4096³)

153.2→206.0 TFLOPS

+34.4%(其余规模+12%~34%)

实际GEMM

3090Ti(BF16)

87.5→157.4 TFLOPS

+80%;TF32 +94%

实际GEMM

3080 10G(BF16)

65.4→113.4 TFLOPS

+73%

实际GEMM

2080Ti(2048³)

55.7→91.4 TFLOPS

+64.1%

底层MMA指令

2080Ti(ASUS TU102)

46.94→93.66 TFLOPS

≈2.0×

LLM预填充

3090跑vLLM 27B BF16

—

+33%,首Token响应快24%

LLM逐Token生成

同上

—

基本没变

三个必须自己看清楚的折扣:

  1. 指令吞吐翻倍 ≠ 干活翻倍。 4090的底层测试确实几乎×2,但一进cuBLAS真实矩阵乘,只剩+12%~34%,BF16甚至在4096规模基本原地踏步——真实计算还要搬数据、调度,不吃指令发射这一条限速。36氪

  2. 受益面被精度路径卡死。 FP16输入FP16累加(本来就没被限速)、INT8(约661 TOPS纹丝不动)、普通FP32(79.1 TFLOPS没变)统统没戏。游戏也基本无关——这动的是AI张量运算路径。

  3. 2080Ti的数据反讽拉满。 解锁前2048规模实测55.7 TFLOPS,已达英伟达Turing白皮书标称56.9的97.9%;解锁后91.4,达到标称的160.6%。八年前标称的"峰值",原来也只是"限速后的峰值"。

「4090算力翻倍」刷屏这天,我把11组实测数据摊开了算:肉在预填充,Token生成一点没动

三、为什么本地跑大模型只快预填充:整条赛道都在同一道算术题里

目前唯一公开的大模型端到端实测(RTX 3090,vLLM跑27B BF16)给出的画面是:预填充+33%、首Token等待缩短约24%、逐Token生成没有明显变化。这不是巧合,是这套限速恰好卡在"算力墙"上,而大模型推理最贵的解码环节卡在"内存墙"上。36氪

本地圈这周聊的三件事拆开看其实是同一道题:

  • 解锁党:预填充是大段Prompt并行走矩阵乘,算力受限,吃得到肉;解码一次只算一个Token,瓶颈在显存带宽,跟Tensor Core油门无关。

  • DeepInfer党:DeepSeek上周开源的生产级推理引擎听着炸裂(单集群155万亿Token/天),但首发只支持SM100级Blackwell和昇腾950,你的3090/4090/H100根本不在支持列表里。有折腾党把其中技术"炼化"到RTX Pro 5000工作站卡上(9个技术点只搬了2个,107→142 t/s,还是Agent任务口径),评论区一句"瓶颈卡在内存带宽,不是显卡"就是原因。而vLLM和SGLang已在72小时内把这批开源算子收进主线,追平甚至部分反超。知乎哔哩哔哩知乎

  • 内存党:双3090+双路EPYC跑出"1900预填充/30解码"的1017部署,靠的是512GB级DDR3内存池堆出来的,评论区"512G内存喂长文还爆过""1024GB内存?告辞!"才是普通人的现实。哔哩哔哩

「4090算力翻倍」刷屏这天,我把11组实测数据摊开了算:肉在预填充,Token生成一点没动

所以"本地大模型提速"这件事,本周的正确姿势是:你的引擎该升版本就升(vLLM/SGLang新算子红利免费领),但别为任何单一爆点冲硬件——除非你确认自己卡在算力和带宽的哪一侧。

四、要不要跟:一张对号入座的清单

值得动手的: 长期跑BF16/FP16预填充重负载(本地知识库、长文RAG、Agent批量任务)、做微调炼丹或SD生图(计算密集、TF32收益3090Ti实测+94%)、主力Linux且有备用卡验证条件。30系矩阵类工作负载的+70%~80%是独立复测过的真提升,120秒持续测试下功耗几乎没涨(318W左右)、温度78→79℃、输出逐位一致。36氪

「4090算力翻倍」刷屏这天,我把11组实测数据摊开了算:肉在预填充,Token生成一点没动

先别跟的:

  • 日用聊天党:你体感的速度就是逐Token解码,那部分没变,别为"翻倍"头条折腾一张主力游戏卡。

  • Q4量化单流党:llama.cpp小显存GGUF本来就带宽受限,这条限速解锁帮不到你。

  • 3060/3070用户:矩阵运算+76%~81%不假,但这俩跑大模型先撞的是8GB/12GB显存墙,算力排不上号。

  • Windows用户:目前唯一公开成功案例是一张改到32GB显存的4080魔改卡,普通4080/40系通用性没验证,抄作业前先想想保修。36氪

  • 奔着"印钞机"去的:DeepInfer官方口径"单卡时租38美元、10个月回本"和"单集群一天155万亿Token",都来自官方叙事。实测部署的提醒更实在:这些性能、收入与基准数据均为自测口径,未见第三方独立复现,矿潮剧本别信第二遍。微博哔哩哔哩知乎

风险也得说白:这套方案的本质是利用GPU安全启动固件漏洞写入受保护寄存器,走的是内核模块/UEFI启动前程序,固件、驱动版本兼容性都还在验证期,20系列只有TU102两张卡被独立验证,稳定性、保修影响没有任何人替你背书。它是个值得收藏跟进的开源事件,不是一个可以无脑执行的"一键提速"。36氪

后续观察信号:gpu-unlock系项目是否放出持久化/驱动更新后的行为说明;英伟达是否从固件层面堵口;vLLM/llama.cpp官方是否把BF16预填充的端到端收益测出来;Windows版是否走出魔改卡。官方README也写得很清楚,DeepInfer目前主要是一套离线推理引擎与底层算子集,完整的线上服务系统层还缺着。引擎层的竞争也在加速,今天谷歌开源TorchTPU,把TPU做成了PyTorch原生设备。知乎36氪

模型权重决定上限,推理框架决定单价。 而这一周本地圈真正该记住的是第三种账:你的每一分提速,得先问它是算力的肉,还是带宽的汤。 你手上的卡在哪一侧,评论区可以晒一下。知乎

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章