从单机到百万卡集群 华为突破冯诺依曼架构重塑AI算力效率

源自40位全网作者

07:33

在近期举办的技术大会上,华为正式发布了面向人工智能时代的全新计算架构Peerium及其配套的高速互联协议“灵衢”(Unified Bus),并展示了Atlas 950与Atlas 960超节点硬件。这一发布在科技界引发了广泛讨论,其中“突破冯·诺依曼单机架构”的说法更是成为了公众关注的焦点。

从单机到百万卡集群 华为突破冯诺依曼架构重塑AI算力效率

要客观理解这一技术发布,首先需要厘清术语上的争议。在华为国内的宣传口径中,常使用“突破冯·诺依曼单机架构”和“颠覆主从架构”等表述;而在华为公布的学术论文以及英文官方网站中,对该架构的定位则是“嵌套并行冯·诺依曼架构”(Nested Parallel von Neumann Architecture),使用的词汇是“扩展”(extends)而非完全“推翻”。

从单机到百万卡集群 华为突破冯诺依曼架构重塑AI算力效率

从计算机基础理论来看,Peerium架构并没有抛弃冯·诺依曼体系的核心要素。系统中的处理器依然在读取指令、执行计算,程序和数据也依然保存在存储器中。因此,技术团队的核心工作并非颠覆教科书中的计算原理,而是重新定义了“单机”的物理与逻辑边界。传统计算架构中,单台计算机的边界通常限制在一个主板或一台服务器内部;而Peerium架构试图通过工程手段,将数十万甚至上百万个处理器在逻辑上整合,使其像“一台更大的计算机”那样协同工作。

这一架构重构的背后,是当前超大规模AI大模型训练面临的现实工程痛点。在传统的AI算力集群中,通常由成千上万台独立的服务器通过以太网或InfiniBand连接。随着集群规模扩大到十万卡级别,大量的计算资源被消耗在跨节点的数据搬运、通信等待和全局同步上。业界数据显示,在传统集群架构下,十万卡规模训练大模型时的实际模型浮点算力利用率(MFU)往往仅有20%左右,这意味着绝大多数计算单元在很多时候都在“等待数据”。

从单机到百万卡集群 华为突破冯诺依曼架构重塑AI算力效率

Peerium架构解决这一痛点的思路可以概括为软件与硬件的“双重嵌套”。

在软件层面,该架构提出了“Nested BSP”(嵌套批量同步并行)编程模型。经典的BSP模型将并行计算分为局部计算、通信和屏障同步等阶段,但当节点数量达到数十万时,全局同步会拖慢所有处理器的节奏。Nested BSP则引入了递归分层的概念,将大集群的同步拆解为多层局部的同步。从最内层的张量并行、上下文并行,到外层的专家并行、流水线并行和数据并行,每一层都在自己的物理范围内进行高频同步,减少了跨大尺度域的等待时间。同时,论文强调在每一层级中,各节点均为平等关系,消除了传统主从控制节点的调度瓶颈。

在硬件和互联层面上,灵衢总线(Unified Bus)提供了关键支撑。传统集群中,服务器内部使用总线协议(如PCIe),跨服务器通信则需要转换为网络协议(如RDMA或TCP/IP),这种转换带来了显著的时延和能量损耗。灵衢总线则尝试用统一的协议贯穿从芯片封装、单板、机架到超节点的整个系统。它摒弃了CPU作为主控、加速卡作为从设备的主从结构,让CPU、NPU、内存和存储设备在总线上实现平等互联。更重要的是,它将跨节点的通信拉回到原生内存语义(load/store操作),使远程内存访问的时延显著降低,跨柜往返时延压缩至微秒级。

从单机到百万卡集群 华为突破冯诺依曼架构重塑AI算力效率

此外,该体系在物理部署上采用了“物理稀疏,逻辑紧密”的设计理念。随着芯片功耗增加,将大量高算力芯片紧密挤在一个机架内会面临极大的散热和供电挑战。华为在Atlas 960等硬件中引入了近封装光学(NPO)技术,将电光转换的边界从传统的一米级别向内移动到芯片封装边缘的十毫米级别。这种光互连技术在保护极高带宽和低时延的同时,允许物理设备在机房内适当拉开距离部署,不必强行追求兆瓦级高密度机架,降低了冷却和电力基建的压力。

从竞争格局与产业路线来看,Peerium架构体现了不同的系统设计哲学。海外巨头如英伟达倾向于在机柜内部追求极致的直连密度与单点性能;而华为在面临先进制程和显存供应链限制的背景下,选择将互联边界扩大到整个机房,通过光互连、统一内存寻址和系统级调优来提升集群的整体有效利用率,尝试用系统架构的效率来弥补单点硬件上的差距。

从单机到百万卡集群 华为突破冯诺依曼架构重塑AI算力效率

理性来看,Peerium架构和Nested BSP模型的提出是一项极具深度的系统工程创新,为应对后摩尔时代的AI算力瓶颈提供了一条清晰的路径。然而,从学术论文和架构发布,到规模化商业落地,中间仍需跨越巨大的工程门槛。统一内存寻址在百万级节点规模下的缓存一致性维护、局部节点故障时的系统容错能力,以及上层生态(如软件开发工具栈、算子库迁移)的适配,都需要在真实的商业负载中接受长期检验。

综合而言,华为并没有推翻冯·诺依曼计算机的基础逻辑,而是将冯·诺依曼架构的设计思想从“单机”拓展到了“百万卡超级集群”。这一创新的价值在于将AI算力的竞争维度从单纯的比拼“单卡峰值性能”,转向了比拼“超大规模集群的实际利用效率”,为全球AI算力基础设施的建设提供了一种全新的系统级解题思路。

内容由AI生成

精选参考来源

1. 如何评价华为继推出韬定律后,又发明 Peerium 计算架构,宣称突破传统图灵与冯 · 诺依曼架构?

如何评价华为继推出韬定律后,又发明 Peerium 计算架构,宣称突破传统图灵与冯 · 诺依曼架构? Peerium是廖恒博士提出来的嵌套BSP编程模型。论文原文在 Nested Parallel

2. 华为官网称突破冯诺依曼计算机架构,英文官网却写的拓展,为什么

华为官网称突破冯诺依曼计算机架构,英文官网却写的拓展,为什么 华为官网称突破冯诺依曼计算机架构,英文官网却写的拓展,为什么李将平老师1789820042 9月17日,华为在上海发布 Peerium 计

3. 如何看待华为突破冯诺依曼「单机」架构?

如何看待华为突破冯诺依曼「单机」架构? 华为的这个宣传“彻底突破了冯 · 诺依曼单机架构的限制”反而是对Peerium起了反作用。 其实技术负责人的论文里的描述还是客观的,可能是公司内部,到了国内宣传

4. 如何看待华为突破冯诺依曼「单机」架构?

如何看待华为突破冯诺依曼「单机」架构? 先给标题降降温:这篇论文没有推翻冯·诺依曼9月15日,arXiv上线了编号2609.16787的论文,标题是《嵌套并行冯·诺依曼架构与嵌套式BSP》,作者只有一

5. 华为说"突破了冯·诺依曼",全网都炸了,但真相可能和你想的不一样

华为说"突破了冯·诺依曼",全网都炸了,但真相可能和你想的不一样 消息一出,热搜直接爆了。有人激动到喊"颠覆摩尔定律、打破图灵范式",也有人冷笑"又是传教式营销"。 那么问题来了:华为这次到底干了件

6. #华为突破冯诺依曼单机架构#华为Peerium架构:打破单机算力牢笼,重塑AI计算底层范式9月17日,华为正式发布Pee...

#华为突破冯诺依曼单机架构#华为Peerium架构:打破单机算力牢笼,重塑AI计算底层范式9月17日,华为正式发布Pee... 华为Peerium架构:打破单机算力牢笼,重塑AI计算底层范式9月17日

7. 华为:突破冯·诺依曼单机架构

华为:突破冯·诺依曼单机架构 华为:突破冯·诺依曼单机架构观察者网1789637291 9月17日,华为宣布推出AI时代的全新计算架构“Peerium计算架构”。该架构能实现百万级处理器成为一台计算机

8. 【#华为突破冯诺依曼单机架构#】9月17日,华为宣布推出AI时代的全新计算架构“Peerium计算架构”。该架构能实现百...

【#华为突破冯诺依曼单机架构#】9月17日,华为宣布推出AI时代的全新计算架构“Peerium计算架构”。该架构能实现百... 【】9月17日,华为宣布推出AI时代的全新计算架构“Peerium计算架

9. 华为官宣突破冯·诺依曼单机架构!百万处理器合成一台超级计算机

华为官宣突破冯·诺依曼单机架构!百万处理器合成一台超级计算机 华为官宣突破冯·诺依曼单机架构!百万处理器合成一台超级计算机枫叶科技谈1789695177 2026年9月17日,在上海举办的相关技术活动

10. 华为昇腾960超节点,拓展冯诺依曼架构

华为昇腾960超节点,拓展冯诺依曼架构 华为昇腾960超节点,拓展冯诺依曼架构折腾的老猫1789793778 说华为突破冯诺依曼架构,多少有点过了,应该说昇腾960超节点拓展了冯诺依曼架构!华为全联接

11. #华为突破冯诺依曼单机架构#【华为Peerium:百万处理器“拧成一台计算机”,是颠覆还是工程奇迹?】9月17日,华为发...

#华为突破冯诺依曼单机架构#【华为Peerium:百万处理器“拧成一台计算机”,是颠覆还是工程奇迹?】9月17日,华为发... 【华为Peerium:百万处理器“拧成一台计算机”,是颠覆还是工程奇迹?

12. #华为突破冯诺依曼单机架构#……华为这次确实做成了一项很硬的工程:通过Peerium架构和“灵衢”UnifiedBus,...

#华为突破冯诺依曼单机架构#……华为这次确实做成了一项很硬的工程:通过Peerium架构和“灵衢”UnifiedBus,... ……华为这次确实做成了一项很硬的工程:通过Peerium架构和“灵衢”U

13. 华为的“百万核”豪赌:冯诺依曼体系被改写

华为的“百万核”豪赌:冯诺依曼体系被改写 华为的“百万核”豪赌:当冯·诺依曼体系遇上“暴力美学” 华为扔出了一颗核弹:Peerium架构让百万级处理器成为一台计算机。这不是迭代,这是对冯·诺依曼体

14. #华为突破冯诺依曼单机架构#华为推出全新Peerium计算架构,突破传统冯诺依曼单机架构的局限,实现百万级处理器融合为一...

#华为突破冯诺依曼单机架构#华为推出全新Peerium计算架构,突破传统冯诺依曼单机架构的局限,实现百万级处理器融合为一... 华为推出全新Peerium计算架构,突破传统冯诺依曼单机架构的局限,实现

15. #华为突破冯诺依曼单机架构#长久以来,超级AI集群都是大量服务器拼在一起,采用主从模式,由主控节点分配任务。当芯片数量扩...

#华为突破冯诺依曼单机架构#长久以来,超级AI集群都是大量服务器拼在一起,采用主从模式,由主控节点分配任务。当芯片数量扩... 长久以来,超级AI集群都是大量服务器拼在一起,采用主从模式,由主控节点分

16. 华为在全联接大会上发布的Peerium计算架构,宣称“突破冯·诺依曼单机架构”,这话听着挺唬人,但咱们得守住认知主权,别...

华为在全联接大会上发布的Peerium计算架构,宣称“突破冯·诺依曼单机架构”,这话听着挺唬人,但咱们得守住认知主权,别... 华为在全联接大会上发布的Peerium计算架构,宣称“突破冯·诺依曼单机

17. 华为:突破冯·诺依曼单机架构

华为:突破冯·诺依曼单机架构 华为:突破冯·诺依曼单机架构海峡网1789651506 9月17日,华为宣布推出AI时代的全新计算架构“Peerium计算架构”。该架构能实现百万级处理器成为一台计算机。

18. #华为突破冯诺依曼单机架构# 每前进一步都很难,底层创新是真的厉害。华为Peerium计算架构重磅发布!打破...

#华为突破冯诺依曼单机架构# 每前进一步都很难,底层创新是真的厉害。华为Peerium计算架构重磅发布!打破... 每前进一步都很难,底层创新是真的厉害。华为Peerium计

19. 华为Peerium架构:不是推翻冯·诺依曼,而是打破单机边界

华为Peerium架构:不是推翻冯·诺依曼,而是打破单机边界 华为Peerium架构:不是推翻冯·诺依曼,而是打破单机边界顺顺顺1789709599 当百万块芯片开始像一台电脑一样工作 最近华为发布

20. 华为发布 Peerium 架构,宣称突破传统图灵与冯・诺依曼单机架构 9 月 17 日,华为在上海发布 AI 时代全新计...

华为发布 Peerium 架构,宣称突破传统图灵与冯・诺依曼单机架构 9 月 17 日,华为在上海发布 AI 时代全新计... 华为发布 Peerium 架构,宣称突破传统图灵与冯・诺依曼单机架构 9

21. #华为突破冯诺依曼单机架构# 华为发布全新Peerium计算架构,突破传统冯诺依曼单机架构限制。依托灵衢高速互联总...

#华为突破冯诺依曼单机架构# 华为发布全新Peerium计算架构,突破传统冯诺依曼单机架构限制。依托灵衢高速互联总... 华为发布全新Peerium计算架构,突破传统冯诺依曼单机架构限制

22. 打破人类70年惯性,华为发布颠覆性AI计算架构,堪称技术革命

打破人类70年惯性,华为发布颠覆性AI计算架构,堪称技术革命 打破人类70年惯性,华为发布颠覆性AI计算架构,堪称技术革命硬核熊猫说1789834859 本文仅在今日头条发布,谢绝转载华为又要颠覆了一

23. 如何看待华为突破冯诺依曼「单机」架构?

如何看待华为突破冯诺依曼「单机」架构? 华为的很多宣传本质上就是在传教,跟事实没有太大关系。Nested BSP改变的是并行任务的组织方式,而论文所提出的硬件架构仍被论文作者明确定位为冯·诺依曼架构的

24. Peerium的意义,不在“推翻”谁,而在把难用的算力变成好用的生产力。华为不是把冯·诺依曼扔进历史,而是把“一台计算机...

Peerium的意义,不在“推翻”谁,而在把难用的算力变成好用的生产力。华为不是把冯·诺依曼扔进历史,而是把“一台计算机... Peerium的意义,不在“推翻”谁,而在把难用的算力变成好用的生产力。

25. 颠覆冯·诺依曼架构!华为Peerium问世,中国算力彻底打破百年桎梏

颠覆冯·诺依曼架构!华为Peerium问世,中国算力彻底打破百年桎梏 颠覆冯·诺依曼架构!华为Peerium问世,中国算力彻底打破百年桎梏长江源1789799460 9月17日,华为正式官宣Peeri

26. 华为在ISCAS 2026介绍逻辑折叠LogicFolding工程思路细节,有什么值得关注的突破?

华为在ISCAS 2026介绍逻辑折叠LogicFolding工程思路细节,有什么值得关注的突破? 鉴于这两天将LogicFolding归于现成3D封装的人太多了,实在绷不住,专门续一篇。IEEE I

27. 华为突发:发布百万卡对等计算架构

华为突发:发布百万卡对等计算架构 【AI前线速递】国产智能算力底座迎来划时代的硬核突破!今日在上海举办的华为全联接大会(HUAWEI CONNECT 2026)上,华为正式面向全球重磅发布全新计算架构

28. 华为发布AI时代的全新计算架构:Peerium计算架构

华为发布AI时代的全新计算架构:Peerium计算架构 华为发布AI时代的全新计算架构:Peerium计算架构界面快讯1789636313 9月17日,华为发布AI时代的全新计算架构 – Peeriu

29. #华为突破冯诺依曼单机架构#跳出单机桎梏:华为Peerium架构,重新定义“一台计算机” 长久以来,计算机世界被冯·诺依...

#华为突破冯诺依曼单机架构#跳出单机桎梏:华为Peerium架构,重新定义“一台计算机” 长久以来,计算机世界被冯·诺依... 跳出单机桎梏:华为Peerium架构,重新定义“一台计算机” 长久以来,

30. 华为发昇腾960超节点,国产AI算力超车了?

华为发昇腾960超节点,国产AI算力超车了? 昨天,华为在全联接大会上放了个大招——发布了昇腾960超节点和Peerium计算架构。这件事可能会影响未来几年你用的每一个AI产品的价格和体验。 先说

31. 华为高层内部万字长文曝光,ICT 业务目标是成为「英伟达」,还有哪些内容值得关注?

华为高层内部万字长文曝光,ICT 业务目标是成为「英伟达」,还有哪些内容值得关注? 泻药。底下一群半懂不懂的张口就是营销,忽悠外行,合你比华为那么多年薪千万的顶尖科学家还懂?冯诺依曼架构卡了算力几十年

32. 通信墙不破,AI Agent算力不立!华为超节点“黑科技”详解

通信墙不破,AI Agent算力不立!华为超节点“黑科技”详解 通信墙不破,AI Agent算力不立!华为超节点“黑科技”详解智东西1789791830 智东西作者 | 李水青编辑 | 漠影智东西9月

33. 华为韬定律同行者,用22nm跑出7nm性能!

华为韬定律同行者,用22nm跑出7nm性能! 北大团队微纳核芯用国产22nm工艺跑出等效7nm算力,三个多月内再融10亿元,上汽、华勤等产业资本集体下注。 微纳核芯孵化于浙江省北大信息技术高等研究

34. 华为麒麟 2026 手机芯片今秋面世,率先采用逻辑折叠技术,这是一项怎样的技术?用户能感受到什么变化?

华为麒麟 2026 手机芯片今秋面世,率先采用逻辑折叠技术,这是一项怎样的技术?用户能感受到什么变化? 大家好,我是菊厂芯片架构布道师,乱序摸鱼。今天跟大家聊一聊麒麟 2026 的设计,以及韬定律背后

35. #华为全联接大会2026#华为全联接大会2026于上海正式启幕,本次大会聚焦全面智能化战略,围绕AI基础设施、算力底座展...

#华为全联接大会2026#华为全联接大会2026于上海正式启幕,本次大会聚焦全面智能化战略,围绕AI基础设施、算力底座展... 华为全联接大会2026于上海正式启幕,本次大会聚焦全面智能化战略,围绕A

36. #a股##超节点# 【华为昇腾960超节点提前登场!韬定律立功性能翻倍 剑指英伟达】近日,华为监事会主席郭平关于“华为I...

#a股##超节点# 【华为昇腾960超节点提前登场!韬定律立功性能翻倍 剑指英伟达】近日,华为监事会主席郭平关于“华为I... 【华为昇腾960超节点提前登场!韬定律立功性能翻倍 剑指英伟达】近日,

37. #华为韬定律之后光谷开了场先进封装专场# 6月25日,2026光谷青桐汇Ultra——先进封装与硅光互联专场在光谷举行。...

#华为韬定律之后光谷开了场先进封装专场# 6月25日,2026光谷青桐汇Ultra——先进封装与硅光互联专场在光谷举行。... 6月25日,2026光谷青桐汇Ultra——先进封装与硅光互联专场在光

38. 韬定律让芯片运行更冷华为何庭波提出τ定律,以“逻辑折叠”技术将电路垂直堆叠,缩短信号传输延迟,突破光刻限制。针对堆叠必烧...

韬定律让芯片运行更冷华为何庭波提出τ定律,以“逻辑折叠”技术将电路垂直堆叠,缩短信号传输延迟,突破光刻限制。针对堆叠必烧... 韬定律让芯片运行更冷华为何庭波提出τ定律,以“逻辑折叠”技术将电路垂直堆

39. 大家真的认为华为发现的叫做韬定律的工程方法,之前的芯片厂商发现不了吗?

大家真的认为华为发现的叫做韬定律的工程方法,之前的芯片厂商发现不了吗? 我有个不恰当的类比:黑熊和北极熊不吃竹子,不是因为不会吃,而是因为能找到肉和鱼所以没必要吃竹子因为华为的争议比较大,所以我要解释

40. 算力瓶颈不是芯片,是芯片之间怎么说话

算力瓶颈不是芯片,是芯片之间怎么说话 为什么算力最大的瓶颈不是芯片?华为昇腾 960 超节点,全球第一个用上 NPO(近封装光学)的超节点:4096 张算力卡、8E FP8、1PB 内存。一句话理解
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章