10月15日，微软官方博客放出一篇15分钟阅读量的预训练报告：2.8T总参、激活80B的MoE基座模型MAI-Base-2训完了——16000张GB200，从8月跑到9月，整整38天，吞了50万亿tokens。跑分号们马上会去追分数，但对GPU并行计算感兴趣的人，值得熬夜看的是那本账。微软AI官网微博
先说结论：钱没烧在算力上，烧在"非算力"上。 整场训练平均MFU只有21%——口径是GB200的BF16理论峰值2.5 PFLOPS，分子只算模型自己的计算，连重算和优化器的开销都没计入。还有个数字更扎心：goodput 89%，意思是38天里约4天，训练一步都没推进。万卡集群跑得越久，这条越不可能归零。微软AI官网
MoE这笔账最有意思：专家越加越多，效率反而先掉了。 微软早就测出"每层都MoE"更省计算，上一代却没敢上——MoE层MFU卡在24%：动态路由把显存切碎，极端的专家负载不均还得预留内存，能缓存激活值的空间被挤走，反向传播只能多重算；专家切得越细，单专家开销越大，越加越亏。知乎
解法全是系统工程：固定容量+多轮Dropless MoE——专家被塞爆先借同组空闲容量，还装不下就留到下一轮，显存占用不再随失衡程度膨胀；dispatch→compute→collect跨专家组流水化；all-to-all直接从GPU发起，NVLink对称内存零拷贝，不做中转复制；负载均衡损失跨全层批量归约。最终MoE层MFU从24%拧到35%，每层MoE才真正落地。连Muon优化器都被重构成每步只占165ms、迭代时长的2.1%。微软AI官网
但台账里也有几行得打折看。 传得最广的"比DeepSeek-V4-Pro-Base省4-12倍算力"（官方精确到4.2-12.3x），是微软拿自家拟合的scaling曲线反推的：DeepSeek实际花了多少算力没有公开数字，目前也没有第三方复现；而且领先最多的那一项，代码考卷恰恰出自MAI自家代码库。比较口径是BPB——量的是模型对没见过的文本"猜得准不准"，跟"干活行不行"中间还隔一层后训练。至于"会不会蒸馏了OpenAI"，官方话很硬：全organic数据、零蒸馏，50万亿token每一片都自家流水线处理，独立语料比上一代涨36%（累计量涨得更多，靠的是重复读）。知乎微软AI官网微博
知乎109赞的高赞回答顺手把账本翻到了下一页：16000张卡跑38天若只是中游规模，那微软真正的前沿旗舰估在10万+张Blackwell、算力差约10倍——社区推算，非官方口径。眼下权重闭源、后训练进行中、MAI-Base-3已在准备，账本先到手，模型还没到嘴边。知乎微软AI官网
给并行计算同行一句话：到了16000张卡的量级，峰值FLOPS只是门票，真正的账本，写在通信、调度与显存里。
