华为135B模型硬刚DeepSeek-R1！国产昇腾算力逆袭，三明治架构稳了？

在人工智能领域，国产大模型的研发进展始终备受关注。近期，华为发布的盘古Ultra模型因采用纯昇腾计算集群训练、性能对标主流大模型等亮点进入公众视野。这款135B参数规模的密集模型在数学竞赛、编程推理等场景中展现出了与参数规模更大的DeepSeek-R1等MoE（混合专家）模型竞争的能力，而其完全基于国产硬件的技术路线更是引发行业热议。

技术突破：稳定训练与架构创新

盘古Ultra的技术核心在于解决了超大规模密集模型训练的稳定性难题。传统Transformer架构在深度扩展时容易因输出尺度波动引发训练中断，而该模型采用的“三明治”层归一化结构（Sandwich-Norm）配合深度缩放机制，有效消除了训练过程中的损失尖峰。这种在残差连接前后双重归一化的设计，结合依据网络深度调整参数初始化的TinyInit策略，让94层深度网络的训练过程保持了罕见的高稳定性。

在模型设计细节上，团队对分词器进行了针对性优化。通过分别统计中英文、代码、数学等领域的词频数据，最终构建出覆盖多领域的15.3万词元词表，既提升了专业领域理解能力，又避免了通用文本占比过高导致的表达效率损失。

全流程国产化训练体系

盘古Ultra的训练全程依托8192个昇腾AI处理器组成的集群，通过数据并行、张量并行、流水线并行等混合策略，将算力利用率提升至52%。为应对长文本处理需求，模型在预训练后还进行了128K长度上下文扩展，通过调整RoPE旋转位置编码参数增强长文档理解能力。整个训练流程划分为通用知识学习、专项推理强化、指令调优三个阶段，最终在数学解题（AIME 2024）、代码生成（LiveCodeBench）等任务中达到当前最优水平。

性能表现与行业价值

评测数据显示，盘古Ultra在MMLU、GSM8K等主流基准测试中的英文任务表现优于Llama 405B等同类模型，中文任务则保持全面领先。尽管参数规模仅为DeepSeek-R1的三分之一，其在复杂推理任务上的表现却展现出可比性。这种“小体量、高性能”的特征，对于降低大模型部署成本具有现实意义。

值得关注的是，该模型全程未使用英伟达GPU的技术路线，验证了昇腾计算平台支撑前沿AI研发的可行性。其采用的通信计算重叠、算子融合等优化方案，为国产硬件生态的成熟提供了重要参考。不过，行业观察人士也指出，大模型性能受数据质量、训练策略等多重因素影响，不同架构模型的直接对比仍需结合具体应用场景评估。

当前，昇腾计算生态已吸引多家企业参与共建。随着DeepSeek-R1等模型相继完成昇腾平台适配，国产AI基础设施正逐步形成从硬件到软件的全栈能力。这种技术路线的多元化发展，或将推动全球人工智能产业格局产生新的变化。