小米MiMo-V2-Flash：兼顾性能与成本的新一代大模型

最近在研究大模型的时候，发现小米的MiMo-V2-Flash挺有意思。它定位很清晰：既要高性能，又要控制成本，在推理和智能体任务上都有不错的表现。对我这种既要效果又要性价比的开发者来说，这种思路挺对胃口。

先看参数架构。MiMo-V2-Flash用的是309B参数的MoE架构，听上去很“大”，但每个token只激活15B参数，相当于“平时轻量干活，关键时刻再拉满火力”。这种设计在算力和显存上都更友好，部署门槛没那么高。

为了解决全注意力的平方复杂度问题，它采用了混合注意力机制：局部滑动窗口+全局注意力。滑动窗口大小是128个token，局部和全局的比例是5:1。这样一来，在长上下文场景下，KV-cache的存储需求和注意力计算量都减少了近6倍。而且通过可学习的注意力汇点偏置（Attention Sink Bias），即便窗口很小、混合比例很高，模型在长文本上的理解和建模能力依然很稳，这一点在实测长上下文任务时感受挺明显。

训练方面，它基本沿用了MiMo-7B的预训练方案，并做了不少优化。采用FP8混合精度训练，在超过27T token的规模下依然能高效跑起来。模型一开始是在32K上下文长度上预训练，后来扩展到256K，对长文本理解和处理能力有明显提升。

整体来看，MiMo-V2-Flash不是那种只堆参数的“暴力模型”，而是在架构、注意力机制和训练策略上都做了不少工程优化，兼顾了性能、速度和成本。对开发者来说，这是一个很适合落地的选择，也能看出小米在大模型方向上的技术积累正在逐步成型。