给 Kimi K3 提速 1.68 倍，英伟达既没换芯片，也没用什么神奇算法，而是把 K3 在 vLLM 里"逐字生成"的过程重新编排了一遍：原本 GPU 大部分时间在等数据、等任务启动，改完之后，计算、跨卡通信、读权重三件事同时进行。据调研机构 SemiAnalysis 在 10 月 18 日披露，这项已合入 vLLM 上游的优化，让 2.8 万亿参数的 K3 在 GB300 NVL72 上把单用户解码速度推到 423 tok/s/user，达到原有水平的 1.68 倍——不换卡、不改模型，拉新版本、打开开关就能生效。IT之家
“一个字一个字往外蹦”，才是慢的根源
用大模型都有体感：问完问题先顿一下，然后文字哗哗往外冒。前面那"一顿"是预填充，把输入读完；往外冒的部分叫解码（decode），它才是决定"跟 AI 对话跟不跟手"的关键。而解码偏偏是 GPU 最不划算的活：只服务一个用户时，每一步要算的矩阵极小，算力单元喂不饱；更麻烦的是接力——K3 每生成一个 token，GPU 都要依次走完注意力计算、跨卡汇总、残差相加、MoE 路由、专家计算这一串环节，每个环节单独启动一次，后面的必须等前面的。时间就这样耗在"等"上，而不是"算"上。知乎
四步改造，专治"等待"
这轮优化没有去找一个万能神药，而是把接力赛的障碍一段段拆掉。第一步，按任务大小配"专车"：给单用户解码的极小矩阵单独设计内核，并发稍大再切换成多卡分担的 split-K 写法；K3 自研的 KDA 线性注意力拿到了 CuTe DSL 编写的专用解码实现，长上下文的注意力拆给多张卡各算一段再合并。第二步，把跨卡"交接"焊在一起：原本要做完输出投影、再跨卡 all-reduce 收齐数据、才能继续算残差，现在 GPU 把部分结果直接放进 NVLink 可访问的缓冲区，接收端拿到就往下算，计算和通信第一次真正重叠。第三步，专家分工不再全员重复：原版实现里每张卡都要把 MoE 路由分数完整算一遍，新版把它拆给不同并行卡分摊、交换结果，"共享专家"则被挪到独立计算流上与被选中的专家并行干活。第四步，趁空闲提前备课：在显存带宽没用满的窗口，把下一步要用的权重预取进 L2 缓存。小红书
这四步合起来，就是新闻里说的"Megakernel（巨型算子）融合"：一条针对 GB300 定制的解码执行路径，由 CentML 工程师 Benjamin 完成，代码量约 1.2 万行，被 SemiAnalysis 视为 AI 辅助生成高级计算内核的一个方向样本。这部分实现已于 10 月 16 日合入 vLLM 上游，不过需要你主动打开。微博知乎
为什么偏偏是 K3 收益最大
K3 的架构是 KDA 混合线性注意力加稀疏 MoE，特点是单层操作碎、通信点密集，恰好是"接力损耗"最重的结构，所以这套优化的本质不是给芯片加算力，而是把被浪费的等待捡回来。英伟达此前还发布了 KDA 算子 v0.6，把 KDA 在 B300 上的速度做到比月之暗面官方实现快约 2.96 倍，模型开源加上硬件厂商下场做针对性适配，K3 正好处在生态合力的风口上。
1.68 倍的边界，别读成"全面快 1.68 倍"
这个增益有明确的适用口径：423 tok/s/user 是 SemiAnalysis 报告的单用户解码速度，没有叠加投机解码，代表路径重排本身的收益；而流传更广的 842 tokens/s（比同配置原版 vLLM 的 488 快约 1.73 倍）是叠加投机解码 DSpark 后的结果——一次草拟 7 个 token、人为设定平均每步接受 6 个，只统计解码、不含预填充，不能当成真实使用中的平均体验。而且随着并发变大，加速比例会逐渐回落，它最擅长的是低并发时那些被启动和通信开销拖碎的零碎操作；换上 32K 长输入、预填充与解码混合的负载后，端到端的输出提速会缩水。另一组"接近 1.8 倍"的编码智能体测试成绩，则是 16 卡新方案对比此前 8 卡旧结果，并非同条件对照。换句话说，1.68 倍是真实增益，但它奖励的是"一个人盯着文字逐字往外冒"的场景——恰好是如今编程智能体和实时对话的主流形态。知乎
卡后面的账：把工程余量榨干
对部署方来说，这笔账很直接：同样的卡，单用户快了 1.68 倍，意味着能扛更多并发、单位 token 成本更低，升级路径只是软件更新。对英伟达来说，持续给开源大模型做这种"保姆级"内核优化，是让已经卖出去的卡干更多活的软件放大器——对算力卡而言，时间就是金钱。这个方向已经成了多方竞赛：vLLM 原班团队创办的 Inferact 把 K3 的 92 个 MoE 层写进同一个巨型算子程序，在 16 颗谷歌 TPU v7 上把单用户输出速度推到 709 tokens/s。华为 CANN 团队也公布了基于昇腾的实践，把 K3 的单 token 时延从 28 毫秒压到约 10 毫秒，整体加速约 2.8 倍。推理性能的胜负，正在从"谁的芯片强"转向"谁能把模型结构、硬件和编译器协同榨到最后一滴"。当然，这套 GB300 专用路径能否在其他模型上复制同样的增益，还需要更多实测。知乎
