10 月 16 日，英伟达向 vLLM 社区提交了一条用 CuTe DSL 为月之暗面旗舰模型 Kimi K3 重写的解码路径，把每层 Attention、MoE 与跨卡通信的几乎全部操作重新编排：开启 DSpark 投机解码后，16 张 GB300 上单请求 decode 达到 842 tokens/s，比同配置的原版 vLLM 快 1.73 倍。官方对这项工作的定位是 1.5–2 倍的 decode 提速，覆盖多个测试配置。登上热榜的「1.68 倍」来自知乎问题《英伟达优化 KimiK3 推理速度提升 1.68 倍，这意味着什么？》，它并不是官方给整体结果的口径。vLLM官方博客GitHub知乎
在 PR 附带的完整测试矩阵里，1.68x 确实存在过——但只是 TP8 加 3 个草拟 token 这一档配置下 batch 1 的前向对比单元格，换成 TP16、关掉投机解码，同一批数字就变成了 1.62–1.92x。换句话说，热榜上每一个「几倍」，都是这张配置表里的一个点，倍数差异本质是场景差异。GitHub
改了什么：每层 23 个 kernel 砍到 13 个
原版 vLLM 跑 Kimi K3，每层要串行执行 23 个 kernel、约 130 微秒，新路径压到 13 个 kernel、69 微秒。差距不在算力而在「等待」：单人对话时 batch 常是 1–2，矩阵很小，GPU 的时间被反复的 kernel 启动、跨卡通信和显存读取切碎。英伟达的做法可以概括为四件事：vLLM官方博客
按形状选刀：batch 1–2 用小矩阵专用 kernel，batch 大了切换 split-K 让计算摊到更多 GPU 单元，KDA 注意力配了专属 CuTe DSL 解码 kernel，长上下文再按卡切分 KV 计算；
把通信缝进计算：Attention 输出投影、跨卡 all-reduce、Attention Residual 直接衔接，部分结果放进 NVLink 可访问的缓冲区，接收方拿到就继续算，不等全场收齐；
MoE 去重：原版每张卡重复计算完整的 router 分数，新版拆到各卡再交换，共享专家挪到独立 stream 与路由计算并行；
偷带宽预热：通信阶段显存带宽没占满，用旁路 kernel 把下一步的权重预取进 L2 缓存。
倍数怎么读：头条数字都有前提
842 对比 488 是一组受控基准：输入只有 1 token、输出 1000 token、接受长度人为设定为 6，统计的是不含 prefill 的纯解码吞吐，知乎的技术解读提醒它「应该不能直接当作真实 Agent 会话的平均体验」。关掉投机解码，TP16 在 batch 16–64 区间仍保有 1.62–1.71x，但 batch 越大加速比越低——这套优化最擅长的是低并发下那些细碎、容易被启动和通信拖慢的操作。知乎vLLM官方博客
更接近真实编码 Agent 的 AgentX 测试给出 1.8 倍，同样有前提：403.2 对 223.7 tokens/s/user，是 16 卡新结果对比此前 8 卡基线，并非同卡数的提升。速度之外，正确性也有官方口径：AIME25、GPQA-Diamond、MRCR 成绩与原版相差约在一个标准误以内，prefill 与原版逐位一致。知乎GitHub
谁能马上用上：自部署企业，App 用户暂无变化
这条路径默认不生效，需要显式打开 `decode_backend: latency_specialized` 开关，且只覆盖 GB300 的 8 或 16 卡、decode batch 1–64、单一 NVLink 域内的组合，prefill 和混合批次会回落到原版路径。也就是说，现在就能感受到变化的是自部署 Kimi K3 的企业服务侧；对 Kimi App 的普通用户，官方尚未披露是否会把这条路径用进自家 serving，日常对话的吐字速度暂时不会因此改变。GitHub
倍数之外的信号：AI 写的 kernel 正在走「快车道」合入
官方博客花了不少篇幅讲的其实是流程问题：agent 写出的优化代码，产出速度已经超过了人工逐行评审的消化能力。英伟达为此提出 fast-track RFC：优化隔离在模型专属目录内、只认领固定硬件与 batch 范围、要求在全部受支持配置上严格快于原版、贡献者自带可复现的正确性与性能证据。K3 是这一模式下的第一个贡献，DeepSeek-V4.1-Flash 和 GLM 5.3 的低并发解码优化已经排进后续。对硬件厂商来说，这是在为「卖卡」补上最软的一环：谁的服务栈让开源模型跑得更快、迭代得更勤，卡就更好卖。vLLM官方博客知乎
对照面：同一天，AMD 发文称单卡追平 B300
值得留意的是，同一天的 vLLM 博客还上线了另一篇 Kimi K3 文章，作者是 AMD：在 AgentX 基准的 50 tokens/s/user P90 交互性口径下，8 卡 MI355X 的单卡吞吐比 NVIDIA HGX B300 高 24.4%，按租机成本算每美元多产出 87.4% 的 token。这是 AMD 自己口径下的结论，但和英伟达这篇放在一起看，「开源模型怎么跑得更快」已经成了硬件厂商共同的军备竞赛，而这场竞赛对用户侧的落点，取决于各家平台何时把优化变成默认配置。vLLM官方博客
