NVIDIA砍掉27%参数,推理反而快了3倍
NVIDIA近期开源了名为gpt-oss-puzzle-88B的大模型,该模型基于自研的Puzzle框架,从OpenAI的120B模型剪枝而来。其核心逻辑在于利用神经架构搜索(NAS)寻找最优瘦身方案,而非简单的均匀压缩。结果显示,模型参数量减少了27%,体积缩减至原来的73%,但推理精度不仅持平甚至有所提升,同时在推理速度上实现了显著突破。
01核心技术:Puzzle框架的四大策略
- 异构专家剪枝
针对混合专家(MoE)架构,不再保留固定数量的专家,而是根据每层的激活频率差异,动态保留不同数量的专家,实现非均匀瘦身。 - 注意力模式优化
通过自动搜索机制,寻找最优的全局注意力与窗口注意力分配方案,优化模型的信息捕捉效率。 - 硬件感知搜索
在H100硬件约束下直接进行架构搜索,确保生成的模型结构能最大化利用硬件算力。 - MXFP4量化
采用4-bit微缩浮点技术,进一步压缩显存占用,提升单卡性能表现。
02实测数据:性能与精度的双重提升
| 对比维度 | 优化前(120B) | 优化后(88B) | 提升效果 |
|---|---|---|---|
| 参数规模 | 120B | 88B | 减少27% |
| 长上下文吞吐 | 基准值 | 优化后值 | 提升1.63倍 |
| 单卡H100吞吐 | 基准值 | 优化后值 | 提升2.82倍 |
| 推理精度 | 基准值 | 持平或更高 | 无明显损耗 |
Puzzle框架优化前后性能对比
03行业意义:降本成为新竞赛焦点
大模型训练成本高昂,但在全生命周期中,推理成本占比高达90%。Puzzle框架通过一次性的NAS搜索投入,换取了永久性的推理成本降低。该方法具有通用性,适用于DeepSeek、Mixtral、Qwen-MoE等各类MoE模型。有观点认为,2026年AI竞赛的关键将不再是比拼谁的模型参数最大,而是比拼谁的推理成本更低。
当前文章无评论,是时候发表评论了