小米MiMo-V 2-Flash技术报告

晚上学习了小米今天发布的最新工作： MiMo-V 2-Flash技术报告，值得关注一下。 该模型（总参数309B/激活15B），在SWE-Bench Verified上达到73.4%，超越了kimi-k 2和deepseek-v3.2等开源模型。

✅ 核心思想 1. 架构侧：采用Hybrid SWA (混合滑动窗口注意力)架构，配合可学习的attention sink bias，显著降低长文计算量。 2. 训练侧：引入轻量级MTP模块，既用于加速训练收敛，又作为投机采样（speculative decoding）的draft model加速推理。 3. 后训练侧：提出MOPD范式，让student模型通过在线RL同时学习多个领域专家（teachers）的 token级分布。

✅ 个人建议 1. 重点学习一下swa+ga以及sink的作用，论文中将swa窗口大小设置为128，性能最佳。主要起作用的是这个sink，当窗口内其他token的logits都很小时，sink的得分（一个较大的正数）在经过 exp指数运算后，会比其他token大几个数量级。softmax归一化后，99.9%的概率给了sink，留给窗口内token的概率几乎为0，所以将窗口内的权重置零。sink是一个可学习的参数，模型自己学出来的。 2. 还需要重点学习一下MOPD（多教师在线蒸馏），将离线知识蒸馏转化为on-policy RL问题。对于这个idea，其实我在其它论文中也读到过类似的工作。student自己生成rollout，领域teacher进行在线评估，给出奖励（稠密+稀疏奖励）。dense奖励来自teahcer logits，sparse奖励来自验证器