面对AI算力挑战,寒武纪构建了从芯片架构到软件平台的完整体系。其核心基础软件平台Cambricon NeuWare,通过软硬件深度协同,旨在释放极致算力,并降低AI应用的开发与部署门槛,为大规模训练与推理任务提供了坚实底座。
智能速览
寒武纪坚持软硬协同,构建完整AI算力体系。
NeuWare平台全面兼容PyTorch和Triton,降低迁移难度。
在大模型与搜广推训推场景,已完成大规模技术验证。
驱动与编译器持续优化,实现业界领先的Kernel吞吐性能。
提供集群工具链,支持万卡级AI训练的监控与调优。
精华内容
寒武纪的突破不仅在于硬件性能,更在于其软件平台如何将这份潜能高效地转化为开发者可用的生产力。接下来将深入剖析其软件栈的各个层面。
统一平台NeuWare
寒武纪基础软件平台Cambricon NeuWare是其软硬协同战略的核心。它旨在跨越不同的硬件和应用场景,为用户提供统一的开发体验。平台全面兼容社区最新的PyTorch版本和Triton算子开发语言,支持用户模型和自定义算子的快速迁移,有效降低了上手难度,提升了开发效率,让AI应用的部署更为敏捷。
核心性能优化
极致性能源于底层软件的深度优化。寒武纪驱动的高稳定性支撑业务运行数月不停机,并通过优化迭代大幅提升了吞吐能力。通过细粒度并行技术和多路DSA异步调度,Kernel函数调度吞吐可达每秒几十万个任务。平台还全面支持Kernel graph批量下发与设备侧驻留,实现极低延迟,延时水平与国际竞品相当。
编译与调试工具
在编译层面,BANG C编程语言支持LTO、PGO等多种优化技术,最大限度发挥芯片潜力。同时,快速迭代支持Triton 3.4所有特性,并对编译器后端进行多项优化,使热点算子性能显著提升。调试调优工具也日趋完善,CNPerf可实现全栈性能数据采集与智能调优,新增的CNSantizer和CNAdvisor工具则分别用于程序正确性分析和性能建议。
赋能大规模集群
针对大规模集群运维挑战,寒武纪推出了系列集群工具。CntrainKit-Accu提供万卡级端到端精度定位,CntrainKit-Monitor实现集群实时性能画像。集群监管平台CNCE覆盖十万卡级算力集群的秒级监控,具备自动发现与智能诊断能力。这些工具让大规模AI训练的运维从“人工巡检”迈向“智能自治”,显著提升了可用性与稳定性。
应用验证落地
经过多年投入,寒武纪已在大模型与搜广推的训推方向完成大规模技术和产品验证。解决方案可支撑流式训练任务持续超数月稳定运行。在大模型训练上,重点支持了DeepSeek、Qwen等主流MoE模型,并新增FP8训练支持。推理方向则实践了多种新型数据类型与高效注意力机制,确保了技术栈的先进性,赢得了市场认可。