10月21日，韩媒报道称，已被英伟达实际收购的AI芯片公司Groq计划在下一代芯片中采用三维堆叠式DRAM封装，放弃其长期使用的大容量SRAM路线。这条芯片圈的路由切换，对准的是AI推理最大的成本黑洞——内存。对用户而言，答案要拆成两本账：每百万Token的单价大概率继续下降，这条降价长曲线已经跑了三年多；但每月账单未必变小，取决于存储涨价周期何时见顶、3D堆叠产能何时爬坡、以及智能体用量会不会涨得比降价更快。36氪
换道的不是GPU，是英伟达旗下的Groq
2025年12月24日，英伟达同意以200亿美元现金收购AI芯片初创公司Groq的核心资产，这是英伟达成立32年以来金额最高的收购案，创始人Jonathan Ross和核心工程团队加入英伟达。名义上保留独立运营的Groq云服务只是招牌，真正值钱的技术和人员已经进了英伟达的推理阵营。知乎
今年8月，每机架搭载256颗Groq 3芯片的LPX机架进入全面量产，在10万Token超长上下文下测得每秒3400个输出Token，是OpenAI新近Ultrafast模式承诺速度（每秒750 Token）的4.5倍。它的硬件底座是每颗芯片裸片内置的500MB高速SRAM——256颗堆满一个机架，缓存池总共也只有128GB。速度是顶级的，容量是致命的。知乎
为什么放弃SRAM：容量增长追不上模型
SRAM快，但扩不出来。d-Matrix CEO Sid Sheth给出的行业对比是：SRAM与逻辑芯片采用相同工艺，容量每两年只能增加约10%至20%，而模型规模可能每六至九个月就翻一倍。全SRAM路线走到头，不是成本问题，是物理上装不下越来越大的模型和越来越长的上下文。36氪
新路线3DS使用硅通孔（TSV）垂直连接DRAM芯片，和HBM一样用TSV，但HBM专注数据传输速度，3DS专注在保持现有DRAM接口的同时扩展容量。更关键的是连接方式的变化：GPU和HBM只能靠芯片边缘有限的接口交换数据，而把DRAM叠在计算芯片正上方，数据可以直接向下灌进计算单元——容量和带宽同时解套。36氪
成本顺风：硬件和软件在同时压缩每Token的价格
推理的账写在芯片和电上，解码阶段最耗钱的是搬数据，内存墙就是延迟和功耗的主要来源。容量与带宽解套的含义是：同一个模型、同样多的Token，可以用更少的芯片和机架跑完，每瓦吞吐直接决定每Token的价格。
量级已经足够激进：SemiAnalysis在智能体负载测试中测得，Vera Rubin每兆瓦吞吐量最高达到上一代GB300 NVL72的30倍，每Token成本最高降低35倍。软件侧同样在压价：10月20日DeepSeek开源的推理框架DeepInfer同时兼容英伟达和华为昇腾芯片，单集群日吞吐达到155万亿Token。终端价格已经开始跟随：Epoch AI的9月报告测算，2023年以来，要达到同样的AI能力水平，成本每季度下降约47%，一年约13倍——同一道GPQA物理题拿75分，OpenAI的o3在2025年1月平均每题花0.3美元，不到18个月后GPT-5.6 Luna做到同分只要0.0004美元，相差725倍。据行业媒体报道，今年10月多家头部大模型厂商在同一周内下调API调用价格，降幅普遍在30%以上，多家产品把免费额度直接翻倍。知乎36氪知乎
逆风：存储超级周期和堆叠工艺，两头都在抬成本
但技术利好不等于价格立刻降。第一道逆风是内存正处在涨价周期：Counterpoint的追踪报告显示，截至2026年第一季度，内存价格环比上涨80%-90%，迎来创纪录暴涨。3D堆叠恰恰是把更多DRAM晶圆叠进每颗芯片——容量叠得越多，推理成本与存储价格的绑定越深。只要涨价周期不结束，新架构省下的成本会先被不断抬高的晶圆报价吃掉一截。微博
第二道逆风是堆叠工艺本身的成本。行业技术文献指出，在堆叠结构中，任何一层出现缺陷都可能影响整个堆叠结构，从而降低制造良率并增加成本。加上更高的封装成本，3DS在量产早期未必比成熟方案便宜。第三道逆风是时间：这次的消息只到“计划引入”，下一代芯片没有官宣，也没有上线时间表；有行业分析判断，2027到2028年前后才是3D堆叠开始替代2.5D方案的节点。36氪知乎
用户的账本：盯着单价，更要盯着用量
所以“未来AI服务调用成本会降吗”，证据能支持的回答是：每百万Token的单价长曲线大概率继续向下，这一点从芯片、软件到API定价已经在同向验证，不确定的只是传导速度。真正需要重新算的是总账——英伟达援引OpenRouter的数据称，智能体工作负载的Token消耗可以达到简单聊天请求的15倍。单价每降一档，被释放出来的智能体用量可能涨得更快，对企业和个人来说，账单总额未必缩小。
观察信号有三个：内存涨价新闻何时停更，这是存储周期见顶的先行信号；3D堆叠LPU的官宣与上线节奏，这决定硬件红利何时进场；各大API平台的每百万Token报价走势，这是价格传导到用户侧的直接读数。芯片改的是架构，账单改的是行为——价格会降，用量怎么走，才是明年这轮AI成本竞争真正的变量。
