当前大型语言模型普遍存在推理效率与参数规模难以兼顾的瓶颈。NVIDIA最新开源的Nemotron 3 Nano模型，通过创新的MoE与Mamba-Transformer混合架构，实现了在大幅提升推理速度的同时，仅激活极少量参数，为高效部署大模型提供了全新的解决方案。
智能速览
采用混合专家与Mamba架构，31.6B参数仅激活3.2B，实现高效稀疏计算。
在生成密集型场景中，推理吞吐量达到同类开源模型的2.2至3.3倍。
支持高达100万token的超长上下文处理能力，远超多数竞品。
在AIME25数学、SWE-Bench编码等多项基准测试中表现优异。
所有版本模型均已开源，并支持FP8量化以进一步提升效率。
精华内容
NVIDIA Nemotron 3 Nano通过一种创新的混合架构，突破了传统Transformer在推理效率上的瓶颈，实现了性能与计算成本的双重优化。
核心架构解析
该模型的核心在于其混合了混合专家与Mamba-Transformer的设计。在总计31.6B的参数中，模型每次前向传播仅激活3.2B参数，实现了约90%的参数稀疏度。
具体来看，模型采用了细粒度MoE架构，配备一个学习型MLP路由器，能够从128个专家中智能地选择并激活6个专家参与计算。这种设计极大地降低了单次推理的计算开销。
同时，模型结合了Mamba-2的线性序列建模能力和分组查询注意力（GQA）机制，在处理长序列数据时，既保证了计算效率，又不失对关键信息的捕捉能力。
海量数据训练
强大的性能离不开扎实的训练过程。Nemotron 3 Nano的预训练分为两个阶段：第一阶段使用了23.5万亿token的多样化数据进行广泛学习，第二阶段则使用1.5万亿token的高质量数据进行深度优化。
总计25万亿token的训练数据量，比其前代模型新增了超过3万亿的独特token，为模型的知识广度和深度打下了坚实基础。
在后训练阶段，模型经历了监督微调（SFT）、多环境强化学习（ME-RL）和人类反馈强化学习（RLHF）的三重策略，使其掌握了推理预算控制、工具集成推理等高级能力。
性能实测领先
实验数据充分证明了该模型的优越性。在8K输入、16K输出的生成密集型场景中，Nemotron 3 Nano的推理吞吐量达到了同类开源模型GPT-OSS-20B的2.2倍，更是Qwen3-30B模型的3.3倍。
在准确性方面，模型同样表现出色。在AIME25数学测试、SWE-Bench编码任务以及RULER长上下文评估等多个权威基准上，其得分均达到或超越了竞争对手。
此外，模型支持FP8量化，能够在几乎不损失精度的情况下，进一步提升推理效率，降低部署成本。
超长上下文与开源
Nemotron 3 Nano的另一大亮点是其高达100万token的上下文长度支持。这一数据远超GPT-OSS-20B模型的12.8万token，使其在处理长文档、代码库分析等复杂任务时具备天然优势。
为了推动整个AI社区的发展，NVIDIA已将所有预训练基础模型、后训练模型以及FP8量化版本全部开源。
这一举措不仅降低了开发者使用先进大模型的门槛，也为后续的研究和应用创新提供了宝贵的资源，加速了高效AI技术的普及。
Nemotron 3 Nano的发布，为解决大模型的部署难题提供了新思路。其高效稀疏激活与超长上下文处理能力，或将推动更多实时AI应用的落地。未来，这种兼顾性能与效率的混合架构会成为行业主流吗？
