企业没有“不认英伟达”,但选芯片这件事,确实从单选题变成了多选题。原因是推理需求反超之后,评判“好芯片”的标准被改写了:训练看谁把模型练得快,推理看谁把每一个词元生得便宜、交得稳定。在这把新尺子下,英伟达仍是默认选项,但采购单上第一次出现了第二个选项。真正变的是账本,不是名次。
反超是真的,而且是几套口径同时在反超
今年4月下旬,国家数据局披露:2025年我国人工智能训练和推理数据总量199.48EB,同比增长42.86%,推理数据量首次超过训练数据量,达101.34EB。人民网
机构测算指向同一个方向:国家数据局经测算认为,未来推理算力需求与训练算力需求之比或将达到3∶1甚至更高;IDC预计,中国AI服务器工作负载中,推理占比将从2024年的65%提高到2028年的73%。人民网知乎
另一套更直观的口径是调用量:通信世界网11月转引的《新域新质创新发展十大趋势》报告称,截至今年6月,我国日均词元调用量已超过175万亿。 数据量、负载占比、调用量三类口径不能直接相加,但方向一致:算力的消耗重心,已经从“造模型的现场”转移到“用模型的现场”。知乎
为什么推理改写了采购账本
训练像几千人合唱:上万张加速卡要像一个整体一样协同,拼的是集群规模、互联带宽和长期不中断。推理更像流水线接单,而2026年的工程实践把它拆成了两半——prefill一次吃下整段提示词,是密集矩阵乘,拼算力;decode逐字生成,退化成矩阵向量乘,拼内存带宽,两者的算术强度差了约两个数量级。 同一颗通用GPU,跑prefill时带宽闲置,跑decode时算力闲置,越通用越拧巴。知乎
买家的尺子随之变了:推理是持续放量的生意,每Token成本、能效和交付稳定性,比单卡峰值跑分更重要。这正是专用架构撬开的缺口。今年6月,OpenAI与博通发布首款自研推理芯片Jalapeño,它不同于强调通用能力的加速器,从一开始就围绕大语言模型推理设计,优化吞吐、时延、能效与部署成本。 650 Group、Dell’Oro与Marvell的测算显示,定制XPU及配套器件市场将从2023年的66亿美元增长至2028年的554亿美元,复合增速约53%。知乎
但“便宜”和“快”还没站在同一边:SemiAnalysis测算,谷歌最新一代Ironwood TPU的持有和运营成本比英伟达GB200服务器低约44%,可在高并发下,它首次返回结果的时间比B300慢一倍多。 企业选芯片不是在挑“最强的一张卡”,而是在按自己的业务算账。知乎
通用芯片这一头,AMD交出了2026年第三季度营收133.77亿美元、同比增长45%,数据中心业务收入85亿美元、同比增长97%的成绩——不过这一口径包含EPYC等服务器CPU,不能直接折算成AI加速卡份额,它配288GB大显存、专攻大模型推理的MI355X已经铺开。 同样要泼冷水的另一面:推理需求反超,不等于硬件收入同比例增长——量化、缓存复用和批处理,让同一张卡能吐出越来越多的Token。芯片竞争的题眼,变成了谁的单Token成本更低。知乎
采购单上,确实多了“第二个选项”
最直观的证据在中国。IDC十月中旬报告显示,2026年上半年中国数据中心卖出200.8万颗AI加速器,非GPU加速器的出货规模首次超越GPU。知乎
按品牌看,英伟达上半年出货67.8万颗、同比减少44%、份额34%;华为57.2万颗、近乎翻倍、份额28%,走的是昇腾系列;两家只差10.6万颗;排在后面的平头哥占7%、寒武纪占5%、昆仑芯占4%、海光占3%。 IDC点明,非GPU采购主力是政府机关、互联网企业和电信运营商,量大、要长期稳定跑,对单卡峰值不敏感,对整机与交付成本敏感。同时要交代两个口径:这份报告数的是颗数、不是金额,训练与推理各占多少也没有单列;英伟达下滑另有“卖不了”的背景——出口管制限制了合规可售的型号,国产卡却能按计划交付。“卖不了”和“没被选”各占多少,报告本身分不开,因此中国的数字能支撑中国市场,不能直接外推全球。知乎
海外头部客户的转向更具体。Anthropic目前能在四个芯片家族上训练和运行Claude——英伟达与AMD的GPU、谷歌TPU、亚马逊Trainium,四路算力放进同一个池子,哪里有闲置就派往哪里。知乎
11月11日的投资人路演里,Anthropic又扔出一个数字:其AI模型在几乎无人工干预的情况下,约用3天就把一款Claude的计算内核移植到AMD的MI355X显卡上跑通,而按该公司自己的说法,这活儿传统上要几十名工程师干6到12个月。 不过路演材料的脚注写明,这个“3天”只覆盖模型的提示词处理环节;数字出自公司单方向披露、未经第三方核验,又正值其11月19日挂牌的IPO窗口,要打折看待。即便如此,“换芯片要半年起步”的默认预期,已被当众改写。知乎
谷歌打的是另一张牌。11月9日,谷歌芯片业务负责人瓦赫达特确认再推TPU 8tx与8i Max两款新品,第八代TPU一年之内已有四款产品——谷歌芯片部门过去通常每两年才推一代。 TPU的客户名单已有苹果、Meta、甲骨文和Jump Trading,谷歌称现在能拿出的TPU都已被客户预订一空,OpenAI也被曝出计划采购。知乎
挡住“第二个选项”的最后一块大石本是CUDA——难换的不是卡,是二十多年攒下的工具链和开发者习惯。今年10月20日,谷歌开源了TorchTPU,开发者改一行代码就能把现成的PyTorch应用搬到TPU上跑,亚马逊同日推出类似的TorchNeuron。知乎
英伟达没下主桌,而且自己也押注推理
先看另一面。2026年英伟达在AI芯片上的份额,按收入算还是按出货算、算不算云厂商自研部分,各机构估计从七成多到九成出头——无论哪套口径,它都还是桌上的第一名。 而且它的生意仍在加速:2027财年第二季度营收962.21亿美元、同比增长106%,数据中心收入890.23亿美元、同比增长117%,公司给出的下季指引为1080亿美元。 其Rubin平台已量产,Rubin GPU的NVFP4推理算力达到Blackwell的5倍。知乎知乎界面新闻
更关键的是,英伟达自己就是“推理时代”动静最大的玩家:它已就推理技术与Groq达成非独家许可协议,Groq创始人与核心团队加入英伟达推进授权技术的规模化;面向推理预填充阶段的专用芯片Rubin CPX也经供应链信息确认重新启动、改版生产,预计2027年一季度投产。 所以,“推理反超训练”并没有把英伟达挤出赛道,只是把战场从“GPU对阵ASIC”挪到了“系统对阵系统”——KV Cache在两阶段芯片之间怎么搬运、切分和调度,成了新的竞赛点。界面新闻界面新闻
还有一个新变量出现在11月12日晚间:英伟达官宣黄仁勋辞任总裁、CEO及董事,即刻生效,CFO科莱特·克雷斯出任临时CEO,哈维·琼斯出任公司首任董事会主席;产品路线与客户交付计划宣布维持不变,财报定于11月17日如期发布。 公告只写了这些,离职原因与正式继任安排一字未提;当天股价开盘跌一成三左右,收盘跌幅收窄到4.34%。 此前,英伟达供应与交付的确定性很大程度上系于创始人个人的拍板;这个人离开后,对大客户来说,多供应商对冲多了一个新理由,渠道端当周已出现观望情绪上升。知乎知乎
回答标题:从“唯一选择”变成“默认选项”
AI推理需求反超训练之后,企业没有“不再选英伟达”,而是“不再只认英伟达”。训练侧的默认答案依然是GPU加CUDA;推理侧,TPU、AMD和各类自研ASIC已经成了采购单上真实存在的第二选项。这道多选题会走多远,几个可验证的时间点会给出答案:11月17日英伟达财报,看推理需求的成色和指引;11月18日至19日Anthropic定价挂牌,看“3天换芯”的成色在资本市场如何被检验;再往后是2027年上半年——AMD MI450首期1GW是否如期上线、改版的Rubin CPX能否如期投产。当挑战者的交付和迁移成本被真实验证,“不再只认”,才会从统计口径变成采购现实。