大模型推理的“内存墙”困局与Cerebras晶圆级芯片破局之道_CPU

1. 将 600 亿参数大模型装进手机的瓶颈，终于被中国 AI 公司突破了

2. 华为+DeepSeek，掀了国际AI的桌子。中国AI的换道超车底气：算力神话破灭——“内存墙”吃掉芯片63%成本DeepSeek不是烧钱——技术代差降本，别人学不来华为重构棋盘——“韬定律”换道超车，不靠EUV国产AI的逆袭，这次够不够解气？#AI创造营##一分钟视频扶持计划##AI芯片# 种斌Marco的微博视频

3. Anthropic 和 OpenAI 最近先后发布了各自的"快速模式"，都是给 AI 编程助手加速。但仔细看，两家走的是完全不同的技术路线，背后的产品哲学也很不一样。【1】两种快速模式，到底有什么区别Anthropic 的 Fast Mode 在 2 月 8 日上线，面向 Claude Code 和 API 用户。开启后，Opus 4.6 的输出速度从约 65 token/秒提升到约 170 token/秒，快了 2.5 倍。代价是价格翻 6 倍：输入从 5 美元/百万 token 涨到 30 美元，输出从 25 美元涨到 150 美元。特别提醒一下用 Claude Code 的朋友，Fast Mode 的费用走 extra usage 通道，不从订阅配额里扣。也就是说就算你是 $200 一月的订阅，Fast Mode 产生的费用都要你自己掏钱，慎重！不过用 GitHub Copilot 的话，里面的 Token 计费是普通模型 x6 倍，算在包月里面的，相对还可以接受。Fast Mode 不是另一个模型。Anthropic 反复强调，快速模式跑的是完全相同的 Opus 4.6，智能水平和输出质量不变。你付的是"加急费"，买的是同一个模型的更快服务。OpenAI 则在 2 月 12 日发布了 GPT-5.3-Codex-Spark，是 GPT-5.3-Codex 的一个"轻量版"蒸馏（Knowledge Distillation）模型，专门为实时编程设计。速度达到 1000+ token/秒，是原版 Codex 的 15 倍。目前只对 ChatGPT Pro 用户开放。硬件也不一样。Spark 跑在 Cerebras 的第三代晶圆级引擎（Wafer Scale Engine 3）上，这是 OpenAI 今年 1 月宣布的超过 100 亿美元合作的首个成果，也是 OpenAI 第一次在生产环境中使用非 Nvidia 芯片。但能力有差距。在 Terminal-Bench 2.0（衡量 agent 终端操作能力的基准测试）上，完整版 Codex 得分 77.3%，Spark 是 58.4%。有人做了个直观测试：让两个模型各写一个贪吃蛇游戏，Codex 5.3 花了 6 分钟，每个边界情况都处理到位；Spark 50 秒就跑出来了，游戏能玩，但细节上有瑕疵。在 SWE-Bench Pro（更接近真实软件工程任务的测试）上，差距小一些：Spark 大约 2-3 分钟完成的任务，完整版 Codex 需要 15-17 分钟，准确率接近。目前 Spark 只对 ChatGPT Pro 用户开放（$200/月），上下文窗口 128K，不支持图片输入，API 访问限于少量合作伙伴。一句话总结区别：Anthropic 是同一个模型跑得更快，OpenAI 是换了一个更小的模型跑在专用芯片上。【2】为什么能快Anthropic 没有公开 Fast Mode 的技术细节。技术博主 Sean Goedecke 推测是降低了推理时的批处理大小（batch size），但这个说法在 Hacker News（以下简称 HN）上被多位从业者质疑。现代推理系统早就用上了连续批处理（continuous batching），"等批次凑满再出发"这种事基本不存在了。HN 讨论中有几个更靠谱的猜测。一个是把 Fast Mode 请求全部路由到最新一代硬件上（比如 GB200，显存带宽是 H100 的 2.4 倍），硬件代差本身就能带来明显提速。另一个来自用户 ankit219，推测 Anthropic 可能用了"并行蒸馏和精炼"技术，先并行跑多条推理路径，再快速蒸馏合并出答案。这能解释一个反常识的现象：有用户反馈 Fast Mode 在某些难题上表现反而比标准模式更好。OpenAI 这边公开得多。Spark 跑在 Cerebras 的 WSE-3 上，一块面积 46,225 mm² 的晶圆级芯片，大约是英伟达 H100 的 57 倍大。这块芯片的核心优势是片上集成了 44GB 的 SRAM（静态随机存取内存），访问速度比 GPU 常用的 HBM（高带宽内存）快大约两个数量级。GPU 推理时大量时间花在从外部内存搬运模型权重上，Cerebras 把模型直接放在芯片内部，消除了这个搬运开销。44GB 的 SRAM 显然装不下完整的 GPT-5.3-Codex，所以 OpenAI 训练了一个更小的蒸馏版本。具体多大不清楚，但 Cerebras 芯片可以多片串联，所以 Spark 的参数量可能比"44GB 能装下的"要大不少。【3】速度和准确率，哪个更重要这是两种 Fast Mode 背后真正的产品分歧。Anthropic 赌的是：开发者最在意的是模型不犯错。所以给你同一个最聪明的模型，只是让它跑快一点。你多花的钱买的是"不降智"。OpenAI 赌的是：开发者需要实时交互的体验。1000 token/秒意味着代码生成速度比大多数人的阅读速度还快，这已经跨过了从"批处理工具"到"实时协作者"的门槛。哪个更对？取决于使用场景。对于坐在终端前和 AI 来回对话的交互式开发，速度差异是实实在在的。Opus 4.6 标准模式下一个复杂重构可能要等 30 秒，快速模式下 12 秒。这个差距足以影响你能不能保持"心流"状态。但对于 AI agent 自主完成多步骤任务的场景，速度可能没有看起来那么重要。一个 HN 评论者算了一笔账：如果 agent 每步决策有 80% 准确率，串联 10 步后端到端成功率只剩约 10%。agent 任务中大部分时间花在工具调用上（API 请求、文件读写、等外部服务），模型推理速度快 6 倍，对整体耗时的改善可能远没有 6 倍。速度对实时语音 AI 的意义可能更大。人对对话中超过 800ms 的停顿就会觉得不自然。语音 agent 的流水线（语音识别 → LLM 推理 → 语音合成）中，留给 LLM 的窗口只有约 400-500ms。常规速度下这个窗口只够生成约 35 个 token，勉强一句话。1000+ token/秒的速度能让这个窗口生成 400+ 个 token，对语音交互的设计空间是质的改变。OpenAI 有自己的语音产品线，这可能是他们投入 Cerebras 合作的一个重要考量。速度优势还能转化为准确率。与其用一条推理路径快速得到一个不太靠谱的答案，不如同时跑多条候选路径，选最优的那个。速度够快的话，跑 3 条路径选最好的，总时间可能还比标准模型跑 1 条路径短，准确率反而更高。【4】普通用户怎么选如果你是 Claude Code 用户，快速模式的使用场景很明确：交互式开发、实时调试、需要快速迭代的时候打开，跑长任务或对成本敏感时关掉。如果你是 OpenAI Codex 用户，Spark 的定位更微妙。社区已经摸索出一个比较合理的使用模式：让完整版 Codex 负责规划和复杂推理，Spark 负责小改动、生成测试、格式调整这类可以快速验证的任务。有人总结了一个判断标准：这个任务的结果能在 30 秒内验证吗？能的话用 Spark，不能就用完整版。OpenAI 也提到未来可能推出"混合模式"，根据任务复杂度自动路由到 Spark 或完整版 Codex，但目前还需要手动切换。价格方面，Anthropic 的快速模式是明码标价的贵（6 倍），但你清楚自己买的是什么。Spark 目前只对 ChatGPT Pro 用户开放，API 定价还没有最终确定。务实建议：别因为"快"就默认开启。先想清楚你的瓶颈在哪。如果大部分时间花在等模型回复上，快速模式值得试。如果大部分时间花在修复模型犯的错上，你需要的不是速度，而是更好的 Prompt 或者换个更强的模型。【最后】两家公司几乎同时推出快速模式，反映的是行业共识的转变：模型智力的军备竞赛之外，推理速度正在成为新的竞争维度。一个是精算师思维，一个是探险家思维。Anthropic 卖的是确定性（同模型、同质量、就是更快），OpenAI 卖的是可能性（新芯片、新模型、速度质变）。至于谁的路线更有前景，可能要看 Cerebras 的产能能不能跟上，以及 OpenAI 能不能在这些芯片上跑越来越大的模型。如果未来完整版 Codex-5.3 也能在 Cerebras 上跑到 1000 token/秒，那就是另一个故事了。参考资料：Sean Goedecke 的分析博客：网页链接HN 讨论：网页链接Anthropic Fast Mode 文档：网页链接OpenAI Codex Spark 公告：网页链接

4. 失控的内存：AI为何被困在“内存墙”中？未来四大技术风口深度解析！

5. 英特尔掌门人警告：AI内存危机彻底爆发！别再盯着算力了，这才是真卡点。#大咖观察 #红衣聊AI #内存 #算力 #英特尔

6. 2026英伟达GTC：“推理之王”的ASIC反击战与Token经济学【硅谷101】

7. 17000 token/s，比B200快48倍！Taalas AI 芯片能否颠覆英伟达GPU？

8. 推翻二十年组网逻辑，智谱落地ZCube，让同样的GPU多干15%的活

9. OpenAI 发布了 GPT-5.3-Codex-Spark，专为实时编程设计的小模型，也是 OpenAI 和 Cerebras 合作后的第一个成果。跑在 Cerebras 晶圆级芯片上，推理速度超过每秒 1000 个 token。Codex 之前的强项是长时间自主运行，连续工作几小时甚至几天。但日常写代码更多是改个函数、调个接口、重构一段逻辑，等模型想十几分钟再出结果，体验很差。Codex-Spark 填的就是这个空缺：你可以一边看它输出一边打断、纠正、追问，像跟一个反应极快的搭档对话。SWE-Bench Pro 上，Codex-Spark 达到 51% 准确率只需 2.3 分钟，GPT-5.3-Codex 同等准确率要 3 分钟，冲到 57% 则需要 16 分钟。Terminal-Bench 2.0 上 Spark 得分 58.4%，比不上完整版 Codex 的 77.3%，但大幅超过上一代小模型的 46.1%。OpenAI 顺便把整条推理管线做了优化：引入持久化 WebSocket 连接，往返开销降 80%，每 token 额外开销降 30%，首 token 响应减半。Cerebras 晶圆级引擎负责极低延迟场景，GPU 仍是训练和推理主力，两者可混合使用。目前 128K 上下文、纯文本、仅 ChatGPT Pro 用户研究预览。后续规划是让实时交互和长线任务两种模式融合：Codex 在跟你实时对话的同时，把耗时任务分派给后台子智能体，用户不需要预先选模式。模型越强，交互速度越是瓶颈，Codex-Spark 是 OpenAI 在这条路上的第一步。宝玉xp的微博视频

10. 用模型排行榜论输赢？AI竞赛到底在比什么？ #大咖观察 #红衣聊AI #AI #大模型

11. Taalas 把大模型以 ASIC 的方式实现了——也就是说把模型直接写到芯片里，这样什么内存带宽限制之类都不存在了。目前用的是台积电 6nm 工艺，写入了 Llama 3.1 8B，能耗 2.5 千瓦，能实现惊人的每秒 1.7 万 token。可以在这里体验：chatjimmy.ai他们从模型到芯片的生产周期是 60 天。而且只用了 24 名工程师和 3000 万美元。这是一个里程碑事件。即使我们没有新的革命性计算架构，也不能突破硅芯片制程极限，用类似思路仍然可能把 AI 再往前推进一步。

12. #李想称AI时代芯片架构需变革# 理想这回真的憋了个大招！自研的马赫 M100 芯片终于官宣亮相了！李想亲自发文复盘，感慨四年前的战略选择太有眼光了。现在市面上绝大多数芯片，还在用传统的冯诺依曼架构，早就跟不上智能汽车 AI 时代的需求了。早在四年前，理想团队就果断敲定方向，给#理想马赫M100芯片# 用上了动态数据流架构。认准这就是 AI 时代最好的方案，既能拉满性能、提升能效，后续升级拓展也特别灵活。不跟风走老路，沉下心深耕底层自研，提前布局芯片架构。四年时间打磨坚守，看得出来理想是真的在踏踏实实搞技术!

13. 【推理效率狂飙19倍！#千问3.5成本仅为谷歌大模型5%#】千问3.5凭什么做到成本仅为谷歌的1/18？答案是底层架构的全面革新。全新MoE架构，3970亿参数仅激活170亿，推理吞吐量最高提升19倍，部署显存降低60%。技术上的“斤斤计较”，才有了价格上的“大大方方”。#有AI的春节有什么不一样# 引力科普的微博视频

14. 最让英伟达害怕的，是华为的这个大家伙！昇腾384超节点，是华为打造的超大算力集群，单节点集成384颗昇腾NPU与192颗鲲鹏CPU，由12个计算柜和4个总线柜组成。它打破传统冯诺依曼架构，采用对等计算架构，凭借高速总线互联，通信带宽较传统方案提升15倍，单跳时延降至200纳秒，大幅突破算力互联瓶颈。其稠密算力达300PFLOPs，千亿大模型训练性能较传统集群提升2.5倍以上，MoE模型性能提升可达3倍。该超节点可灵活扩展为数万卡规模集群，支持训推共池、错峰调度，算力利用率更高，能高效支撑超大规模AI模型训练与推理，是国产高端算力的核心标杆方案。#第九届数字中国建设峰会# 通信老柳的微博视频

15. 内存条价格断崖式下跌！电子黄金的泡沫是怎么破的？

16. 内存暴涨，到底怪谁？

17. 老黄HBM吃饱, 3C数码跌倒?

18. Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文

19. DELL 已经向少数客户交付了 Dell Pro Max with GB300 超级工作站：配备Grace Blackwell Ultra GB300，20000 TFLOPS 的 FP4 算力——大概相当于 6 张 RTX 5090，252GB HBM3e GPU 显存+ 496GB LPDDR5X CPU 内存，支持最高 1000B 参数的模型。一台大概要 10 万美元。

20. 谷歌一篇论文引爆存储芯片崩盘！AI内存需求暴降6倍，推理狂飙8倍

21. 一盒内存条，涨成上海一套房？

22. 我们现在看到的大多数芯片都是基于冯诺依曼架构，我认为AI时代需求的巨大变化，会推动芯片在架构层面发生巨大变革。在PC时代，芯片霸主是英特尔，移动互联网时代是高通，AI时代当下是英伟达，需求的变化始终推动着技术变革。四年前，马赫M100决定采用动态数据流架构时，我们就认定它是AI时代的最优方案，同时拥有最好的性能和效率，还兼顾面向未来的灵活性。但随之而来的挑战是，理想汽车需要组建一支顶级的底层技术团队。今天，马赫M100首次正式与大家见面，它的强悍表现，验证了四年前那个艰难的选择是正确的。#理想L9 Livis#

23. 如果把芯片比作一幅极其复杂的微雕画，那么晶圆就是那张画布。绝大多数晶圆都是由高纯度硅制成的。无论是给英伟达做 AI 芯片，还是给三星做内存，起步阶段用的“白板”晶圆在材质上大同小异。核心差异在加工，内存、硬盘（闪存）、CPU 都要用晶圆。区别不在于晶圆本身，而在于光刻机往上面“画”了什么：CPU/GPU，电路结构最复杂，像迷宫，对工艺要求最高（比如 3nm）。内存，硬盘要求比较低，成品率高。晶圆通常是圆形的（常见的直径是 12 英寸，约 30 厘米）。在一块晶圆上可以同时刻成百上千个芯片，刻完后再像切饼干一样切下来，每一个小方块就是一个芯片顶级 GPU（如英伟达 B200）需要的是 3nm 或 4nm 的先进制程产线；而内存和硬盘目前主力还在 10nm-20nm 级别的工艺。现在晶圆不缺，但是先进制程产线是非常缺的，难干高端芯片的光刻机产量太低了，市场需求又这么大，价值是可以稳住的。反过来内存，硬盘这种良率很高，短时间市场需求接不住，马上上产线，这类光刻机是不缺的，很快就能缓解这种紧张。高带宽内存是一个特殊的例外：虽然普通内存不缺，但 AI 专用的 HBM 内存（焊在GPU上面的那个）其实非常缺。它的制程虽然不是 3nm，但它的封装工艺极其复杂。所以，GPU 的长期稀缺，有一半是因为这种特殊的内存跟不上。因此我判断GPU的稀缺是长期的，内存的稀缺是短期的（高带宽内存除外），谢谢。

24. #你的下一台电脑可能不是电脑了#6月，英伟达正式发布RTX Spark超级芯片，并联合微软等巨头提出了“Agent原生”的电脑概念RTX Spark超级芯片CPU（Grace架构·联发科联合ARM）20全大核：10×X925超大核+10×A725大核，最高4.1GHzGPU（Blackwell GB10）CUDA：6144颗（48组SM）光追：第4代RT Core张量：第5代Tensor Core（FP4，FP4算力1PFLOPS）台积电3nm EUV，700亿晶体管统一LPDDR5X，最大128GB、带宽≈300GB/s，CPU/GPU共用显存NVLink-C2C直连CPU+GPUAI电脑，帮我做视频，都不用自己拍了

25. 台积电从N5到A16，SRAM基本不会再缩小了。所以增大Cache面积在先进的制程上已经很不划算。这是所有的先进制程演进过程中都会遇到的问题。我觉得τ定律可以比较好地解决这个问题。估计有一天台积电和其他Foundry也会采用类似的技术。

26. TrendForce消息，苹果A20系列SOC将采用WMCM（Wafer-level Multi Chip Module，晶圆级多芯片模块）封装。未来的A20的DRAM将不再是InFO PoP，WMCM的互联密度和封装良率会更优，同时散热设计比原来的PoP更有优势。并不是苹果的好技术芯片厂商都会跟随，InFO PoP用了这么多年，高通和联发科都没有采用。今年安卓芯片厂商2nm芯片的封装还是会有一些变化，对散热更有帮助，有助性能的释放。

27. 英伟达出手，SRAM重回C位

28. Cerebras 深度拆解，AI 芯片范式转移落幕

29. Cerebras 晶圆级引擎（WSE）体系架构

30. Cerebras架构

31. 美股IPO关注| Cerebras Systems

32. Cerebras的存算一体芯片--方案激进、性能卓越

33. Cerebras

34. Cerebras的晶圆级算力革命

35. Cerebras价值分析

36. erebras 深度分析报告核心总结

37. Cerebras上市炸场

38. 撕开英伟达的算力围城

39. 【美投Lad独家深度】怀揣颠覆式黑科技，准备干翻英伟达的Cerebras Systems (CBRS)，值得投资吗？

40. 有一家公司造出了比A4纸还大的芯片？解读传统GPU芯片和晶圆级芯片差异

41. Cerebras冲刺纳斯达克

42. 芯片界「非主流」冲刺美股

43. OpenAI押注晶圆级芯片，国产算力路线怎么走？一条新闻背后的三条启示

44. llm decode加速器架构详解（一）

45. Cerebras晶圆级芯片塞4万亿晶体管

46. 晶圆级芯片主流技术路径对比

47. 中科院计算所Ouroboros芯片

48. Cerebras 55.5亿美元IPO暴涨68%

49. 晶圆级芯片和存算一体结合

50. 足以匹敌英伟达的公司周四IPO🚀一文速通！

51. 突破内存墙

52. Cerebras 深度全解

53. Cerebras芯片助力GPT-5.5推理加速，AI推理赛道竞争格局生变？

54. Cerebras_CBRS_IPO研究，AI推理硬件颠覆者？不用HBM，不用COWOS

55. OpenAI 刚拿英伟达 300 亿投资，花 200亿押注英伟达竞争对手 Cerebras

56. Cerebras IPO-关于架构取舍的豪赌

57. 当工程师拒绝更聪明的模型

58. Cerebras响应速度是英伟达2.4倍

59. Cerebras AI芯片公司再获10亿美元融资

60. 业界再一次出现对晶圆级处理器的商业尝试

61. Cerebras Systems（CBRS.US）深度研究投资报告

62. 当GPU不再是瓶颈：SRAM守不住了，ReRAM、MRAM、PCM正在接管AI

63. 大摩｜AI推理把内存推成新瓶颈：涨价斜率更陡，紧平衡或延续到2027

64. 再见了 H100！刚刚 DeepSeek 甩出王炸：显卡不够内存凑，堆 CPU 就能无限扩展“知识库”！

65. 带宽没有不够，是“离得太远”开始主导GPU性能

66. 美光：AI与HPC的真正瓶颈，不是算力，是内存

67. Cerebras 5月14日上市：晶圆级AI推理芯片新势力

68. DeepSeek开源大模型记忆模块！梁文锋署名新论文，下一代稀疏模型提前剧透

69. 晶圆级芯片革命：英伟达Grace Blackwell架构对半导体产业链的需求重塑与量化分析

70. GPU计算中的Memory Wall(内存墙)是什么？

71. SGLang与阿里云Tair KVCache协同进化

72. 1M上下文只是起点，超长文本重构AI存储新赛道

73. 碾压英伟达16倍！Cerebras芯片50ms延迟，OpenAI豪掷200亿押注

74. 速读顶会论文：FengHuang：AI推理的新一代内存编排

75. 普通网线也能跑万亿大模型！月之暗面抛出王炸架构，亲证：不用全买 H100！1T模型实测：延迟暴降64%！大模型推理“围城”攻破了！

76. 【企业 AI 决策者】大模型推理引入 KV Cache 收益评估分析

77. AI算法：Transformer内存带宽瓶颈点

78. 算力｜从上下文看存储趋势：上下文长度激增，显存优化不改存力爆发需求

79. 如何通过KV Cache加速大模型的推理吞吐率

80. 谷歌推出AI内存压缩算法「TurboQuant」：推理效率革命性突破

81. 算力涨超6万倍带宽仅涨30倍：内存墙为何成大模型死穴

82. 百根高容量服务器内存等于一套房产，AGI竞赛面对「内存墙」

83. 半导体生态论第3章 | 第一篇：冯·诺依曼的“历史终结”？——从内存墙到存算一体的架构革命

84. Cerebras：晶圆级芯片的缺陷来源和修复

85. 3D芯片“叠叠乐”：突破“内存墙”的终极解决方案？

86. 突破内存墙：CXL技术如何重塑AI推理架构？

87. 大模型推理性能7大瓶颈！从GPU空转到慢查询，手把手优化实战

88. AI半导体终局推演：Token 经济学，重塑周期！

89. 大模型时代两大痛点:内存墙和计算精度

90. Beyond HBM：3D Cache如何突破Transformer的数据搬运瓶颈？

91. 调研解读|“内存墙”：光学互连在GPU-HBM封装中兴起

92. PrfaaS 新架构论文：KVCache 跨数据中心传输打通，吞吐提升 54%，仅用 100Gbps 普通网络

大模型推理的“内存墙”困局与Cerebras晶圆级芯片破局之道

精选参考来源