这周本地AI圈子出现了一个奇观：一边是知乎上一个问题《关于QWEN3.8-27B，大家的速度都是多少tokens/s？》被顶到42万浏览，评论区里拿V100「洋垃圾」实测的和拿新旗舰实测的各报各的数。另一边是B站一位UP主做了个残忍的实验——同一张卡、同一份模型权重，只改测试语料和上下文长度，读数就从275.2 t/s掉到129.2，再掉到93.6。差了将近3倍。谁测错了吗？都没有。知乎哔哩哔哩
这件事在本周变得格外重要，因为10月10日 Strata 发布了 v0.1.42：其中「动态 CPU/GPU 分配」这一项优化，让一台 RTX 3060 从47.7 t/s涨到62.1 t/s，白捡30%；而同一项优化在 Tesla P100 上只带来约1%的提升。同一个版本号，不同的机器，收益能差出30倍。再加上 Strata 跑 Qwen3.8-Flash-Next 这类 MoE 模型的装机潮（那条「12G显卡跑Qwen3.8 Flash Next」的视频已经16万播放、2000多条评论）。最近两周大概是本地大模型「速度数字」最泛滥、也最没法直接比的时期。知乎哔哩哔哩
所以这篇文章不聊该买什么卡，只聊一件事：你看到的每一个 tok/s，背后藏着哪5个没说出口的口径；以及什么时候速度差距是伪问题，什么时候是真金白银。
一、拆开看：同一个数字，5种完全不同的含义
口径1：引擎和版本——不换硬件也能差出50%
同一张 RTX 4090 48G 跑 Qwen3.8-Flash-Next，用 exl3 量化（2.0bpw）大约100 t/s，换 Strata 引擎能跑到平均140-150 t/s、最高180。引擎之间的差距，比很多人换显卡带来的提升还大。知乎
更隐蔽的是版本。Strata v0.1.42 的两项默认优化就是最好的例子：「跳过低优先级未驻留专家」让 RTX 3060、A4000、P100 的解码速度分别提升约15.6%、12.9%、14.6%；「动态 CPU/GPU 分配」在 RTX 3060 上把47.7 t/s拉到62.1，在 P100 上却只有约1%——提速效果高度依赖你机器的 CPU 性能、PCIe 带宽和量化配置。别人升级后晒的加速截图，在你的机器上可能完全不成立。知乎
口径2：量化档位——差2.6倍
知乎一位 V100 32G 用户实测同一张卡跑 Flash-Next：UD-Q4 是26 t/s，Q2_0 是68 t/s，IQ2 是71 t/s。26和71之间差的不是硬件，是量化精度。拿 Q2 档位的速度去期待 Q4 的体验，或者反过来，都会得出错误结论。知乎
口径3：上下文长度——差3倍
开头那个B站实验里，275.2 t/s 是短上下文读数，把上下文拉到121,850 token，同一张卡只剩93.6。评论区那位「4070 Ti Super + 48G、上下文64k、开MTP，约100 t/s」的报数之所以显得专业，就是因为他把上下文长度写出来了——这在本周的报数里属于少数派。哔哩哔哩哔哩哔哩
口径4：测试语料——「好猜的文本」和「自由写作」是两个世界
还是那个实验：同一张卡、同一份权重，只把语料从「好猜」换成「自由写作」，读数就从275.2掉到129.2。模型对可预测文本的解码更快，跑分用的语料和你日常让模型干的活，速度可能差出一档。哔哩哔哩
口径5：解码优化开关——9条5090报数里，0条写了这一项
那位UP主还统计了网上关于5090的9条 tok/s 主张，发现「有没有开投机解码」这一项，9条里没有一条注明。投机解码、MTP、专家跳过这类开关，开了和没开就是两个数字。Mac 阵营也一样：本周有中字搬运视频实测 M4 Max，标题直接点破「42和130 tokens的差距藏在3个开关里」。哔哩哔哩哔哩哔哩
五个口径叠起来，你就能理解为什么评论区会出现「我10G显存，本地最多30 token每秒出头」和「4070 Ti Super 约100 t/s」并存的局面——他们大概率都没说错，只是每个人报的都是自己那套口径下的数。
二、口径的另一半：快，不等于能用
速度数字还有一层更深的坑：有些速度是拿质量换的。
Strata 装机潮的评论区里，量化档位的争议比速度本身还激烈。高赞观点相当直接：「量化到Q4以下，质量都是严重塌陷，循环断流非常常见」；跟评里「Q2掉智有点严重，能上Q3就上Q3」「q2实测有点淌口水，思考容易死循环」反复出现。目前社区共识大致停在 Q3/IQ3_S 是甜点档——连那位 V100 玩家折腾一圈后的结论也是「iq3s是甜点」。哔哩哔哩知乎
但也有反方证据：一位UP主用 RTX 5070（12GB显存+64GB内存）实测，Q2_0 到 IQ3_S 各档位的基准任务平均分93.26，几乎追平全精度基座。哔哩哔哩
两边谁对？其实都对，因为这又是一个口径问题：基准跑分和长任务实际表现是两套评价体系。 跑分测不出「写代码写到一半死循环」，而评论区报告死循环的人，跑的恰恰是编程长任务。低精度量化、MoE 模型开 MTP，都是死循环的常见诱因；甚至有人发现是 jinja 聊天模板的问题，换个修正模板（froggeric/Qwen-Fixed-Chat-Templates）就好了。哔哩哔哩
所以看到一个漂亮的 t/s 时，要连着问两句：什么量化档位？跑的是什么任务？一个 Q2 档位的100 t/s，在长任务里可能不如 Q3 档位的70 t/s 有用——后者能跑完，前者在死循环里空转。
三、什么时候速度差是伪问题，什么时候是真金白银
把口径拆开之后，真正该问的问题变成了：你要拿它干什么。
如果只是人机对话：58 t/s 和 275 t/s 没有体验差别。 这是那位UP主的一句话结论——两个数都远超阅读速度，快慢几乎不影响使用。为了聊天场景从30 t/s 升级到100 t/s 去换硬件，钱大概率白花。哔哩哔哩
如果是批处理、Agent 长任务、通宵跑活：每一档都是实打实的成本差。 还是 V100 那位用户的数据：他的机器通过了72小时高压连续测试，日均产出约260-300万 token。按这个场景算，26 t/s 和 71 t/s 的差距就是2.7倍的时间成本——同样的活，别人一晚跑完，你要跑将近三个晚上，电费和等待都是钱。知乎
一个简单的分界线：产出是给你自己看的，速度宽容度极高；产出是要规模化变现或喂给下游流程的，速度就是成本。
四、今晚就能做的三件事
1. 给自己的机器做一次「带口径」的基准记录。 以后报数或对比时按这个模板来，六项缺一不可：引擎+版本号、量化档位、上下文长度、测试语料类型、解码开关（投机解码/MTP/专家跳过）、以及区分首token延迟和持续解码速度。花半小时测一次，你就从「我的机器是不是垃圾」的焦虑里毕业了。
2. 如果你在 Strata 上，升级 v0.1.42 前先做回归。 这一版的两项提速优化都是默认开启的，而且专家跳过会轻微改变输出结果——对要复现实验的场景是实质性变化。升级前固定随机种子和采样参数，保留旧版本对照，重点验证生成质量、吞吐和首token延迟三项；需要回退时，`STRATA_ROUTE_TAIL_SKIP=0` 关闭专家跳过，`STRATA_PCIE_FRAC_DEFAULT=old` 恢复旧版 PCIe 规则。知乎
3. 别再拿单一数字决定买不买硬件。 先看你想跑的任务落在哪个口径组合里：聊天用途，现有机器过阅读速度线就不用动；长任务用途，优先算「每百万token的时间成本」，再决定是升显卡、加内存还是干脆换引擎/量化档位——本周的证据是，换引擎（免费）的收益经常不亚于换硬件（花钱）。下面这台双卡机器的资源占用就是典型：显存不够的部分由系统内存硬扛，专用显存和共享内存同时在跑。
值得继续盯的三个信号
Strata 的版本迭代速度：v0.1.41 的多卡批处理优化刚落定，v0.1.42 就带着专家跳过和动态 CPU/GPU 分配来了，且优化方向已经从「能跑」转向「按硬件特性自动调度」。数字还会继续变，任何一次对比的保鲜期都很短。
AMD 卡的支持进度：评论区已经在催「还没覆盖AMD卡」，v0.1.42 修了 Windows AMD 的稳定性问题，但完整支持是另一回事。A卡用户先别按 N 卡的报数做购买决策。哔哩哔哩知乎
内存价格的连带效应：Flash-Next 这波玩法普遍要求48-64G内存起步。评论区已经出现「内存又要推高了」「顶着内存涨价去买内存条」的抱怨。如果你的升级路径卡在内存上，这笔账要和本周的价格行情一起算。哔哩哔哩
说到底，tok/s 从来不是一个「测量出来的事实」，而是一个「定义出来的结果」。看懂口径，你不会跑得更快，但至少不会再被别人的数字吓到，也不会再被自己的数字骗到。
