8 张卡占用 100%，任务还在排队等半天——这是不少 GPU 运维和训练工程师的血压时刻：一个推理小任务独占整张卡，显存只用了零头，后面的任务只能干等。
当地时间 11 月 4 日，英伟达正式发布 CUDA Toolkit 13.5，为下一代 AI 计算平台 Vera Rubin 提供正式可用（GA）支持，标志着该平台从开发者预览进入企业生产部署。版本号看着平淡，刀刀砍的都是"卡时间被浪费"这块。今日头条今日头条今日头条
再说和"并行计算"直接相关的高光：
① MPS v3：闲置的 SM 能"借"了
任务在资源充足时可以借用其他分区暂时闲置的 SM，原分区要用时系统会先回收已借出的部分。而且不管怎么借怎么还，应用看到的基础配额始终不变。配合新增的加权时间片，重负载任务能拿到更长的基础计算时间片，切换频率还能单独调。一句话：多任务同卡，从"互相踩踏"变成"按需分租"。今日头条
② cuBLAS：低精度矩阵乘法直接提速
针对 Vera Rubin 上的 NVFP4、MXFP8 低精度矩阵运算优化了 cuBLAS 的启发式与内核调优机制，覆盖 MoE 等训练场景。官方称不用逐形状自动调优，训练和推理吞吐量就能涨。今日头条
③ CUDA Tile：多卡协同像单卡
现在计算内核内部可直接访问其他 GPU 的显存，依托 NVLink 高速互连实现。在支持 NVLink SHARP 的 NVSwitch 网络里，还能执行跨 GPU 数据归约和写入。通信和计算融合进同一个内核，多卡协同因内核边界和数据传递产生的额外开销被砍掉一大截。今日头条
④ Nsight Perf SDK for AI：常开式性能分析
以公开预览形式亮相，为长时间运行的训练与推理提供常开式监控。持续收集 GPU/CPU 性能指标，那些"复现不了的间歇性掉速"有办法抓了，结果还能用 Perfetto 查看。今日头条
⚠️ Windows 用户注意一个坑：从 Rubin 架构起，CUDA 不再支持 TCC 模式，只支持 WDDM 和 MCDM 两种驱动模型。用 Windows 跑计算卡部署的，工具链要提前适配。今日头条
小彩蛋：CUDA Python 1.2 加了批量内存复制和程序化依赖启动（PDL）；CCCL 3.5 新增 CUB 公开调优接口和批量 Top-K。驱动同步发布了 R620 系列数据中心 GPU 驱动，Linux 版 620.70.06、Windows 版 621.14。驱动不再随 Toolkit 内置，装了 13.5 记得单独升驱动。今日头条
一句话总结：13.5 的主角不是新架构，而是"共享"——SM 借得动、显存读得穿、通信算在一起，把每张卡的水分挤干净。在等 Rubin、在用 NVLink 多卡、或者一张卡多人共享的朋友，建议把发布说明读一遍。
