推理成本飙升背后：AI产业从“造模型”到“用模型”的结构性迁移_服务软件

1. 2026年AI全景预测：迈向百亿智能体时代的20个发展趋势。 #大咖观察 #人工智能 #红衣聊AI #智能体 #AI时代

2. 智能体爆发后，中国AI真正的底牌是什么？ #大有学问 #红衣聊AI #智能体

3. 汽车算力是不是过剩了？高算力的车真的更好开吗？【柴知道：车圈化简】

4. 英伟达很快会反超谷歌TPU，AI模型的竞争格局会在2026年1季度变天#英伟达 #马斯克 #算力 #Gemini3#TPU #GPU #AI模型#算力集群

5. 用DAA衡量智能体百度智能云用“新全栈”重新定义AI云｜甲子光年

6. DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE

7. 虽然 Scaling Law 依然有效，但随着像 o1 这种强化推理模型的出现，计算量正在从“训练端”向“推理端”转移。。所以内存的需求上涨了，推理数据需求上涨了，推理芯片的需求上涨了。。。这都是AI加速产业化的震撼信号，同志们，努力吧，抓紧挣钱。。

8. WWW 2026｜让MoE路由拥有「记忆」：RMS-MoE用检索记忆协同实现更高效专家调度

9. 小米官宣MiMo-V2.5 系列 API 永久降价，最高降幅达99%，不区分输入长度；Token Plan 计价体系优化，加量不加价，用量提升至原5-8倍；百万亿 Token 创造者激励计划圆满收官。·MiMo-V2.5 系列 API 永久降价。相比原始 API 定价，新定价最高降幅可达 99%，且不再区分上下文窗口长度。·Token Plan 计费体系优化，新版 Token Plan 计费体系定价不变，Credits 大幅提升，加量不加价，用量提升至原 5-8 倍。·现有 Token Plan 用户额度全量重置。无论当前套餐用量如何，所有已订阅 Token Plan 且当前仍在有效期的用户（包括参与百万亿 Token 创造者激励计划并获得 Token Plan 的用户，涵盖 Apache 软件基金会专属福利用户）的 Credits 额度将于北京时间 5 月 27 日 0:00 全量重置，并按新计费规则执行。小米表示，本次价格调整背后，离不开小米技术团队在推理系统上的持续优化。小米基于 SGLang HiCache 完整支持 SWA（Sliding Window Attention），将 KV Cache 在 GPU 显存、CPU 内存、SSD 等多级存储之间的数据搬运量降低至优化前的近 1/7，并将可缓存 token 数量提升至优化前的近 5 倍，显著提升了缓存命中率和推理效率。同时，小米还通过优化专家并行方案、输入长度分桶策略等，进一步提升了集群输入吞吐能力，从而在保障服务质量的前提下持续降低单位 token 服务成本。依靠技术的持续创新，小米希望通过提供兼具低成本与顶尖能力的模型服务，撬动真实、持续、规模化的推理需求，推动完整 AI基础设施链条的建设。让更多的人能用到更好的模型——这是 MiMo 不变的使命。

10. #阿里发布旗舰推理模型# 1月26日阿里正式推出通义千问旗舰推理模型Qwen3-Max-Thinking，这是其目前参数超万亿、综合能力最强的大模型，在19项权威基准测试中性能媲美GPT-5.2、Gemini 3 Pro等国际顶尖模型，标志国产大模型跻身全球第一梯队。该模型两大核心创新亮眼，自研测试时扩展技术通过迭代反思提升推理效率，同等Token消耗下多项指标超竞品；自适应工具调用能力可自主启用搜索、代码解释器等功能，大幅降低幻觉，实测中工具协同表现优于ChatGPT。目前模型已上线Qwen Chat开放体验，API同步开通，还将接入千问APP，同时阿里同步开源Qwen3-TTS全系列语音合成模型。依托“算力-模型-应用”全栈闭环，该模型已落地淘宝、支付宝等场景，其高效推理路径也为算力约束下的国产大模型创新提供了新方向。

11. 黄仁勋喊出“推理拐点”，边缘推理的机会窗口打开了吗

12. 20美元无限AI的时代，可能要结束了。 #大有学问 #红衣聊AI #AI工具 #智能体

13. 黄仁勋最新访谈（一）：AI商业化拐点来了，Anthropic2030年收入可能达到1万亿美元#黄仁勋 #英伟达 #AI #GTC #AI商业化

14. Token出圈！日均调用量突破140万亿，带来哪些思考？

15. 6 月 5 日，华为董事、华为云 CEO 周跃峰在接受媒体时表示在当下云厂商都极其重视 MaaS 收入、考核 Tokens 用量的背景下，华为云更看重的是 Tokens 带来的生产力提升他提到，华为云背后是国产化算力，在国产化算力的能力和供应相对有限的情况下，华为云不会拿算力规模来和其他厂商做比较因此，华为云不太在乎收入总量和 Tokens 的消耗指标核心目标是发展第二个算力平面，而非情绪价值周跃峰透露，华为云还将在今年推出更多行业智能体，包括企业级智能体开发平台 AgentArts、数据智能体 DataArts 等预计在下半年基于 AgentArts 智能体开发平台发布一系列“龙虾”，涉及办公、代码、营销等领域

16. 2026英伟达GTC：“推理之王”的ASIC反击战与Token经济学【硅谷101】

17. 千问3.5以小胜大，阿里巴巴的阳谋藏不住了

18. 云涨 Token 涨，DeepSeek 偏降价？其他的企业集体上调 AI 算力价格，行业 Token 成本普涨之际，DeepSeek V4 却逆势降价，V4-Flash 输出价低至 2 元 / 百万 Token，仅为竞品的 1/40，上演价格反向操作，DeepSeek的底气在哪里？系统方面，DeepSeek通过稀疏注意力革命，在同样是百万 Token 场景下，推理算力需求降至前代 10%-27%，KV Cache 占用仅 7%-10%，这就让长文本成本不升反降。V4-Pro 1.6T 参数仅激活 49B，V4-Flash 284B 参数仅激活 13B，避免全参数计算浪费，算力利用率拉满。小模型继承大模型能力，推理成本再降 50%。在硬件方面，DeepSeek 率先全栈适配华为昇腾 950，从 CUDA 迁移至 CANN 框架。国产芯片单卡推理性能为英伟达 H20 的 2.87 倍，采购成本更低。芯模协同优化，训练推理成本较海外方案降低 70%-85%，直接对冲云厂商涨价影响。市场方面，2026 年是AI智能体落地元年，Token 消耗呈指数级增长，低成本是规模化关键。DeepSeek 采用了V4-Flash 低价走量，V4-Pro 走高端市场的市场价格策略。开源吸引开发者，降低企业落地门槛，是能够快速抢占市场份额的。DeepSeek 逆势降价，是国产 AI 摆脱海外依赖、靠技术定义成本的里程碑。这场降价，本质是国产 AI 的成本革命与话语权争夺。

19. 云计算调价潮来袭！腾讯云宣布AI算力服务等涨价5%！

20. 2026年AI主线换了！这5大趋势必须看清。 #大咖观察 #红衣聊AI #趋势风口 #人工智能

21. 阿里云团队版 Token Plan，是把多模型调用、Agent 工具兼容、团队坐席管理、成本统计和数据安全打包成一个企业订阅方案。它适合的不是单个普通用户，而是：开发团队；电商运营团队；内容团队；AI 应用创业团队；需要统一管理 AI 使用成本的企业。阿里云这次不是单纯卖 Token，而是在把 AI 使用方式从“个人零散调用”，推向“企业统一管理”。

22. 5月初权威算力行业专项分析白皮书正式对外发布，精准锚定2026年全球AI算力底层赛道核心变革拐点，算力市场底层逻辑迎来根本性重构。行业重心全面脱离前期高投入、高能耗、重资本的大模型专项训练单一赛道，全域转向低成本、高适配、规模化落地的AI常态化大规模推理刚需场景。伴随全行业AI智能代理（AI Agents）加速渗透千行百业，政企端、产业端、消费端全链路落地节奏提速，企业算力采购布局逻辑同步务实调整，不再盲目扎堆重金迭代全新底座大模型，核心诉求聚焦轻量化部署、低功耗运维、高效能常态化推理落地，压降算力综合使用成本、提升模型全域适配效率成为核心考核指标。产能端供给侧突发结构性失衡，韩国两大头部半导体巨头集中倾斜核心晶圆产能，全力保障AI算力配套高带宽内存（HBM）订单交付，直接挤压通用存储产能空间，导致民用级普通DRAM内存、NAND固态闪存现货供给持续偏紧，供需错配直接拉动5月初全球服务器专用内存现货价格短期异动上行，全链路硬件配套成本小幅波动。供需倒逼产业链快速迭代补位，英伟达、华为等全球头部核心芯片厂商快速响应市场刚需，敲定2026年二季度集中投产上新计划，专项推出深度适配推理场景、功耗优化拉满、并发算力强化的新一代定制化算力架构，精准承接全域推理算力缺口，稳住全产业链算力供给底盘。

23. 《The Big LLM Architecture Comparison》七年来，GPT架构演进虽有细节改进，但核心仍相似。从GPT-2到近期的DeepSeek V3与Llama 4，模型结构变化有限，更多是细节上的优化，如从绝对位置编码到旋转位置编码（RoPE）、多头注意力向分组查询注意力（GQA）转变，以及激活函数由GELU进化为更高效的SwiGLU。 DeepSeek V3（2024末发布）及其推理版本DeepSeek R1（2025年初）引入了两大关键架构创新：多头潜在注意力（MLA）和专家混合（MoE）层。MLA通过压缩键值张量显著节省KV缓存内存，并在性能上超越GQA。MoE则通过稀疏激活少量专家，极大提升模型容量与推理效率，DeepSeek V3拥有6710亿参数，但推理时仅激活37亿，大幅降低推理资源消耗。非盈利Allen AI的OLMo系列以高透明度著称，虽非性能最强，但其对训练数据和代码的公开为社区提供了宝贵的蓝图。OLMo 2采用Post-Norm（归一化层置于注意力与前馈模块之后）搭配QK-Norm（针对查询和键的归一化），提升训练稳定性，区别于主流的Pre-Norm设计。谷歌的Gemma系列（尤其是Gemma 3）强调滑动窗口注意力机制，限制每个查询的上下文范围，大幅降低KV缓存内存，用局部注意力替代全局注意力，保持性能几乎不变。Gemma 3还采用了Pre-Norm与Post-Norm混合归一化，兼顾训练稳定性与效率。此外，Gemma 3n针对移动设备进行了优化，利用分层嵌入（PLE）技术降低内存占用，并引入了Matryoshka Transformer结构，实现模型切片灵活部署。 Mistral Small 3.1以较小KV缓存和更少层数提升推理速度，虽舍弃滑动窗口注意力，但性能在多场景优于Gemma 3，凸显宽模型在推理速度上的优势。 Llama 4 Maverick采用MoE架构但激活专家更少且规模更大，整体与DeepSeek V3类似，体现MoE在2025年的流行趋势。 Qwen3系模型涵盖从0.6B到235B参数的密集和MoE版本，兼顾易用性和推理效率。其小型模型适合本地运行，MoE版本激活参数比例低，提升大规模应用的推理性价比。Qwen3 Next在较小规模下引入更多专家和共享专家，并采用混合门控DeltaNet注意力，实现超长上下文支持（262k tokens）和多步预测，提升训练速度和推理效率。 SmolLM3以3B参数提供优异性能，采用NoPE（无显式位置编码）策略，增强对长序列的泛化能力，减少对位置编码的依赖。 Kimi K2体量达到1万亿参数，基于DeepSeek V3架构扩展，采用Muon优化器替代AdamW，训练损失曲线平滑且下降迅速，性能媲美领先私有模型。最新的Thinking版本将上下文扩展至256k tokens，提升推理能力。 OpenAI最新开源的gpt-oss系列（20B和120B）采用类似Qwen3的MoE设计，结合滑动窗口注意力和注意力偏置，架构更宽而较浅，适合高吞吐量推理。其“注意力汇聚”机制（attention sinks）通过头偏置实现长上下文稳定性。 xAI的Grok 2.5作为去年旗舰模型，采用少量大专家，并引入始终激活的共享专家模块，与近期多专家模型设计呼应。 GLM-4.5通过先密集后稀疏的层序设计提高MoE模型稳定性，性能优于Claude 4 Opus，接近OpenAI和xAI的顶尖水平。 MiniMax-M2在保持高性能的同时回归全注意力，摒弃线性注意力的准确性不足问题，采用每层独立QK-Norm，参数激活比例更低，体现稀疏MoE架构的新趋势。 2025年线性注意力迎来复兴，Qwen3-Next和Kimi Linear将轻量级线性注意力与传统全注意力混合，兼顾效率与性能。Kimi Linear通过通道级门控提升长上下文推理能力，在速度和准确性之间取得平衡。 Allen AI最新的Olmo 3在保持透明度的基础上扩展规模，继续采用Post-Norm和滑动窗口注意力，支持64k上下文，表现稳定。 DeepSeek V3.2引入稀疏注意力机制，与Mistral 3大型MoE模型架构相似，后者增加视觉编码器支持多模态，优化推理速度，体现MoE架构的持续进化。综观2025年旗舰开源大模型，核心仍是Transformer，但细节创新如多头潜在注意力、Mixture-of-Experts、滑动窗口与线性注意力混合、归一化层位置变换等，推动模型在性能和推理效率间取得更优平衡。MoE架构热度持续攀升，模型规模与激活参数数目被巧妙控制，实现大规模知识整合与高效推理。长上下文支持成为新标准，优化训练稳定性和推理速度的技术层出不穷。未来，架构创新与训练工艺的协同将持续塑造大语言模型的发展路径，开源社区的透明度和多样化探索为行业注入活力。 magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison

24. #浪姐镜头霸凌# 从“堆芯片”到“抢细分”：AI算力的12大赛道，谁才是真正的“定海神针”？2026年，AI算力竞赛已彻底告别“拼参数、堆芯片”的粗放时代。当推理算力占比突破70%，算力需求从“训练主导”转向“训推并重”，一场覆盖上游硬件、中游制造、下游应用的全链条军备竞赛，正在12大细分赛道全面打响。没有任何一个环节能独善其身，也没有任何一家企业能单打独斗。在这场产业链博弈中，谁扎根技术刚需、深耕场景壁垒，谁就是支撑中国AI算力行稳致远的“定海神针”。一、光模块：算力的“数字血管”，高速互联刚需之王作为GPU集群数据传输的核心载体，光模块是AI算力网络的高速路网，速率从800G向1.6T、3.2T迭代，需求持续井喷。• 核心龙头：中际旭创（全球800G/1.6T市占率超50%）、新易盛、天孚通信。• 技术突破：华为单波1.6T硅光模块、光迅科技3.2T硅光NPO方案领跑全球；硅光渗透率在1.6T模块中达70%+，功耗降低40%，构筑高壁垒。• 核心逻辑：AI服务器端口数翻倍，高速光模块供不应求，订单排至2027年，业绩确定性最强。二、液冷散热：AI集群的“生命线”，高密度算力生死关单机柜功率迈入兆瓦级，传统风冷失效，液冷成为高密度智算中心的刚需标配，渗透率即将突破50%。• 核心龙头：英维克、网宿科技、曙光数创。• 技术突破：曙光数创MW级相变浸没液冷整机柜，PUE降至1.04以下，散热效率是传统方案的3-5倍。• 核心逻辑：算力密度越高，散热压力越大，液冷直接决定AI集群的稳定性与能耗成本，是“卡脖子”的基础环节。三、AI算力芯片：算力的“心脏”，国产替代核心AI计算的核心，毛利率最高、技术壁垒最强，是摆脱英伟达依赖的关键战场。• 核心龙头：◦ 海光信息：CPU+DCU双轮驱动，兼容主流生态，适配365款大模型。◦ 寒武纪：思元590对标国际一流，DeepSeek-V4首发适配，推理算力国内第一。• 核心逻辑：美国高端GPU限制升级，国产芯片从“可用”向“好用”跨越，DeepSeek-V4适配华为昇腾，国产算力闭环落地。四、高端PCB：算力的“骨架”，高速连接基石AI服务器对高多层、高速高频PCB需求暴增，是承载芯片、光模块的核心硬件。• 核心龙头：胜宏科技、沪电股份、深南电路。• 核心逻辑：每台AI服务器PCB用量是普通服务器的5-8倍，高端产能紧缺，订单排满，业绩弹性大。五、AI服务器：算力的“肉身”，需求最旺载体算力硬件的核心载体，单价是普通服务器的5-10倍，订单排至2028年。• 核心龙头：浪潮信息（国内市占超55%）、工业富联（全球代工市占超40%）。• 核心逻辑：全球智算中心建设加速，国产服务器份额提升，液冷服务器成主流，量价齐升。六、AI存储：算力的“粮仓”，数据爆发刚需大模型训练/推理带来海量数据存储需求，HBM高带宽内存成核心刚需。• 核心龙头：香农芯创、佰维存储、江波龙。• 核心逻辑：推理算力占比提升，数据吞吐量激增，HBM渗透率快速提升，存储芯片量价齐升。七、高速连接器：算力的“神经”，高速传输纽带服务器、光模块、PCB之间的高速连接核心，速率向1.6T迭代。• 核心龙头：华丰科技（华为昇腾核心供应商）、意华股份、鼎通科技。• 核心逻辑：高速信号传输对连接器性能要求极高，华为昇腾服务器放量带动订单爆发。八、网络交换机：算力的“枢纽”，集群调度核心AI集群内部高速互联的核心设备，支撑海量数据调度。• 核心龙头：中兴通讯、紫光股份、锐捷网络。• 核心逻辑：AI服务器端口数翻倍，交换机带宽需求激增，国产替代加速。九、算力租赁：算力的“共享池”，中小客户刚需中小科技企业、大模型初创公司算力租赁需求爆发，轻资产模式弹性大。• 核心龙头：润泽智算、光环新网、奥飞数据。• 核心逻辑：自建算力成本高、周期长，算力租赁降低门槛，适配推理算力碎片化需求。十、智算中心（AIDC）：算力的“底座”，产业落地载体承接AI算力的基础设施，东数西算政策加持，规模化建设加速。• 核心龙头：中科曙光、浪潮信息、数据港。• 核心逻辑：地方政府+科技企业共建，承载国产算力集群，政策+需求双驱动。十一、算电协同：算力的“血液”，能耗保障关键AI集群耗电量巨大，稳定供电+高效节能成刚需。• 核心龙头：国电南瑞、阳光电源、特变电工。• 核心逻辑：兆瓦级机柜对电力稳定性要求高，光伏+储能配套成趋势，降低算力成本。十二、AI应用（大模型）：算力的“出口”，价值兑现终端算力最终落地场景，覆盖办公、教育、工业、医疗等领域，需求决定算力天花板。• 核心龙头：金山办公、科大讯飞、昆仑万维。• 核心逻辑：大模型从“通用”向“行业专用”落地，场景商业化加速，带动算力需求持续增长。核心结论：谁是真正的“定海神针”？1. 强刚需+高壁垒赛道最稳：光模块、液冷、AI芯片是产业链“咽喉”环节，技术壁垒高、复购需求强，业绩确定性最强，是核心定海神针。2. 弹性赛道看供需缺口：高端PCB、高速连接器、AI服务器受益于产能紧缺+订单爆发，业绩弹性大，是行情“加速器”。3. 长期价值看应用落地：算力租赁、智算中心、AI应用决定算力需求上限，长期成长空间广阔，是产业“价值出口”。2026年的AI算力竞争，早已不是单点突破的游戏。12大赛道环环相扣、缺一不可，每一个细分龙头都是产业链上不可或缺的齿轮。当“词元通胀”带来推理算力井喷，这些扎根技术、深耕场景的企业，才是支撑中国AI算力行稳致远的真正定海神针。

25. 利好新分支！deepseek 刷屏了！，快看看吧！1. 降价利好板块（短期直接催化）• AI应用/下游客户：大模型调用成本大降，直接降低企业AI开发门槛，利好AI+办公、教育、电商等场景的应用落地。• AI算力租赁（推理侧）：低价模型会带来推理调用量爆发，利好提供高性价比推理算力的租赁商。• 模型生态/开发者工具：低价+开源模式会吸引更多开发者，利好AI开发平台、低代码工具等生态链企业。2. 融资利好板块（长期资本加持）• 上游算力/硬件：700亿融资核心用于算力建设，利好GPU、光模块、服务器、数据中心等上游硬件厂商，订单确定性提升。• 国产AI算力链：DeepSeek作为国产头部模型企业，融资落地会带动国产算力生态（如国产GPU、存储、交换机）的采购与适配需求。• AI安全/合规：大模型研发与商业化加速，会同步带动AI安全、内容审核、数据合规等配套需求。3. 整体总结1. 降价+融资是「短期抢市场、长期扩产能」的组合拳，分别利好下游应用和上游硬件两条主线。2. 短期看情绪催化，优先受益于算力租赁、AI应用；长期看订单兑现，核心利好上游算力硬件。3. 行业竞争会进一步加剧，具备成本优势、技术壁垒的龙头企业，会持续受益于行业集中度提升。

26. 用模型排行榜论输赢？AI竞赛到底在比什么？ #大咖观察 #红衣聊AI #AI #大模型

27. 从算力到存储，谁能掌握AI时代的“口粮”？ #大咖观察 #红衣聊AI #算力 #存储 #硬件

28. 反直觉：前沿模型虽然贵，但反而更好卖#AI #大模型 #芯片 #ChatGPT #Token

29. AI大模型现在的一个趋势就是从训练全面走向推理。走向推理后，AI真正的赋能生产生活就铺开了。AI这条链上的相关需求都会有新一轮变化目前可以肯定的是，最直接受益的第一梯队：算力芯片 / ASIC + HBM / 高带宽内存 + 高速网络光互联第二梯队：企业级 SSD / NAND、DDR5、服务器、PCB、液冷、电源第三梯队：IDC、储能、电网、边缘AI芯片、端侧设备光模块，光连接件需求会更大，因为推理阶段需要更低延迟，更快连接存储的需求也会不断增大，HBM，DDR5，企业级的SSD，NAND，因为推理不光吃算力，还需要更多的内存来做数据读写训练的本质是用海量算力把模型做出来，推理阶段，每天有海量用户，海量应用，海量API请求，Token消耗巨大。还怎么操作，买哪些题材，懂得都懂图是我的Hermes做的，用的GPT Image 2

30. #英伟达发布新一代GPU# 英伟达CEO黄仁勋CES上带来了最新的Rubin平台，将芯片的竞争直接带入系统层面。GPU推理算力是Blackwell的5倍，推理成本降低90%。 Rubin平台的发布直接降低大模型落地门槛，今年AI行业要迎来全面爆发了。

31. “本次价格调整背后，离不开小米技术团队在推理系统上的持续优化。” “我们基于 SGLang HiCache 完整支持 SWA（Sliding Window Attention），将 KV Cache 在 GPU 显存、CPU 内存、SSD 等多级存储之间的数据搬运量降低至优化前的近 1/7，并将可缓存 token 数量提升至优化前的近 5 倍，显著提升了缓存命中率和推理效率。”

32. 人均年薪1800万的量化机构，如何看AI#AI趋势 #JaneStreet #量化交易 #算力 ##大模型

33. 很多人还是忽视了 Deepseek 对国产算力卡的巨大拉动作用Deepseek 这家公司对我们真的是国运级，而且连续带来了两次国运级突破！第一次是 R1，告诉全世界：中国人即使算力受限，也可以做出顶级的世界大模型直接破解了美国企图力大飞砖，利用算力限制，在 AI 上卡死我们的想法第二次就是 V4，在计算成本上把国产 AI 卡，特别是昇腾 950，带得飞起来Deepseek V4 训练是离不开 NVIDIA 计算卡的，这点我们必须要承认但是晟腾 950 已经部分参与到了V4的训练，并且可以100%承接推理的需求，这一点特别关键一个大模型的训练当然要消耗很多的算力，但是之前囤积的计算卡，还远没有到捉襟见肘的地步现在大家都已经开始 AI 实用化，拼的就是你能用多低的成本给用户提供多大规模的服务这里面有两个关键，成本要低，服务承载量要大成本低靠的是什么呢？靠的是 Deepseek V4 原生的 FP4 能力，就是把推理精度降下去，换取更高的算力比如原来有一张卡，它的 FP16 算力只有 500T；那么在理论上把精度降低到 FP8，算力可以直接蹦到 1000T；如果更狠一点，把精度降到 FP4，那么算力甚至可以蹦到 2000T！那大家之前为什么不做呢？因为降精度很有可能把模型干崩了训练的时候容易崩溃，导致几百万、几千万美金的成本直接打水漂；推理的时候，也就是给用户服务的时候，更加容易出现幻觉等不稳定的毛病，也会崩溃之前整个行业一般做到 FP8 就不敢再动了，再动就会严重影响整个训练和推理的体验只有一些开源的 AI 模型网站上，为了在PC这种小算力平台上部署，大家才会用 FP4 或者 INT4 做量化Deepseek V4 这次比较狠的地方，就是原生的 FP4 推理，非常好的控制了训练和推理过程的质量在精度暴跌的情况之下，依然可以非常精准的控制模型，这是真正的 AI 屠龙术而偏偏美国这次想卖的 H200，它的架构原生是不支持 FP4 的（要到下一代B300芯片才支持）并不是说不能运行，模型一样可以跑，只不过必须要反转到 FP8 模式，这就导致H200 跑模型推理的时候，用 FP4 毫无性能增益但是昇腾 950 却因为支持FP4，运行 V4 的时候可以凭空多出一倍的算力这就导致我国对于 H200 的需求量大大减低：训练的时候，我们确实还离不开 NV但是训练算力现在已经不是大头，Deepseek 都可以靠库存的 N 卡训练出一个 V4；其他家要是训不出来，那纯粹是水平问题现在最重要的是推理，是如何让 AI 来服务更多的用户，不要人用多了就卡死了既然在推理端，Deepseek V4这样的大模型可以用昇腾 950 干出一个吓死所有人的低价，那你买 H200 回来不就等于是赔钱吗？所以不买 H200 并不是一个强硬的政治主张，是有背后极其现实的经济利益以前离不开你，是因为你太强了，国产芯片完全没法用现在我用国产芯片反而推理成本更便宜，Token 单价轻松砍掉 80%，那我还买个锤子？

34. AI推理革命：当算力工厂开始“印钞”今天英伟达GTC 2026大会，老黄抛出了“代币工厂”概念——数据中心以后得叫“AI印钞厂”了。以前拼的是训练算力，现在拼的是推理成本。英伟达新平台的目标就一个：让AI像自来水一样便宜。这背后是商业模式的彻底重构。未来的AI工厂，卖的不是算力，而是“Token”（智能代币）。按Token吞吐量分层定价，让AI从实验室走向千家万户。与此同时，中美经贸磋商在巴黎达成了新共识：双方同意研究建立合作机制。这很有意思——在301调查的当口，对话窗口依然敞开。经贸关系的韧性，远比政治口号更实在。另一边，中国硬科技秀了把肌肉：脑机接口医疗器械获批，帮助瘫痪患者意念操控；商业航天大会开幕，行业订单增长超30%。一个向内探索，一个向外拓展。未来3-5年，我们可能看到：AI应用大爆炸：实时翻译、智能助手成为日常。算力基建狂潮：数据中心变身“智能工厂”。就业结构洗牌：AI提示工程师等新职业涌现。这场技术变革、规则重构、自主创新的三重奏，正在2026年春天上演。我们每个人都是参与者。互动一下：如果AI推理成本降到今天的1/10，你最期待哪个AI应用改变你的生活？#ai创造营##科技数码#极客教授

35. AI圈重要转折点！智能体开始变现了 #大有学问 #智能体 #AIGC #ai工具

36. 阿里云、百度云突然涨价，算力最高暴涨 34%，存储直涨 30%，AI 全面进入付费时代！很多人把涨价当成行业倒退，认为成本飙升会直接掐灭中小厂的 AI 转型希望。但我偏要讲句实话：这不是 AI 普及的终点，而是行业挤泡沫、去虚火的关键一步。一边是成本压力陡增，中小企业叫苦不迭；一边是行业乱象丛生，低质应用泛滥。落地环境本就不健全，如今再遇成本上涨，AI 行业真的无路可走了吗？中小企业的抵触情绪该如何化解？高成本与难落地的双重困局又该如何破局？本期视频直接给出尖锐观点与现实解法，颠覆你的认知！#AI生活指南##微博超有用视频大赛##科普大作战##科技先锋官# 种斌Marco的微博视频

37. GPT-5.3 正式发布！完全免费开放，实测代码能力、推理、文本理解与响应速度 | 零度解说

38. aiX-apply-4B逆袭DeepSeek-V3.2！aiXcoder发布代码变更应用模型，单卡推理提效15倍

39. Kimi员工“黑”谈他们是如何优化推理性能的。还有提示玩小龙虾的朋友尽可能避免把 cronjob 设置在整点来避免高峰期响应能力下降。---------------------------Kimi K2.5 发布半个月以来，我们的推理服务接受了前所未有的挑战，为了应对持续增长的请求数，我们想尽办法从各种地方掠夺了 GPU 资源，同时也在尝试新的推理方案和调度策略。现在，我们已经能“稳稳接住”这泼天的富贵，从推理速度、到 API 稳定性、再到资源利用率都是前所未有地好，好上加好。我们发现缓存命中率是影响推理系统的最关键因素，Agents 的运作方式极度依赖缓存命中率，换句话说，如果你的 Agents 设计充分考虑了如何使用缓存，那么你的 Agents 体验就会显著好（速度快、报错少），与此同时，我们的推理服务也通过优化缓存匹配算法，更快、更多地匹配上下文缓存。一个比较典型的反面例子是：Claude Code 在一次神秘更新后，缓存命中率从 90% 降到不足 20%，这不仅消耗了大量额度，还让用户等待时间变长，429 变多。并且，我们的推理服务由于一直在重新 Prefill，集群压力报警就没停过。在 2 月 12 号晚我们进行修复后，集群压力又恢复到了正常水平。另一个反面例子来自我们自己，众所周知，模型并不知道今天是几月几号，因此我们在 Kimi Chat 的 System prompt 中植入了日期信息，看起来很合理，但是在集群 7×24 小时高压状态下，每天 0 点因日期切换导致的缓存失效成了压垮骆驼的最后一根稻草（其实早上 8 点还有一根稻草）。针对日期问题，有两个已经经过实践检验的应对策略：1. 将日期以 System Message 的形式，放在最后一个 Turn 之前，而不是第一个 Turn 之前。2. 在每个 Turn 的 User Message 中，以 Reminder 的形式提供当前日期和时间，例如：Current DateTime: 2026-02-14 15:55:38另外，我们建议在使用 openai-compatible 接口时，显式设置 prompt_cache_key 字段，可以是当前 session 的 id，这将有助于我们将你的请求调度到合适的集群，增加 Cache 命中率（如果你使用 anthropic messages 接口，把 session_id 放到 metadata.user_id 里也能起到相同的作用）。One More Thing: 相信大家近两周都在开心地养自己的龙虾（openclaw），但请大家尽可能避免把 cronjob 设置在整点（例如 10:00/10:30），每个整点激增的 openclaw 请求都对我们的推理服务提出了极大挑战，就像每个整点都有一大群龙虾搭乘太空电梯集体攻打月球一样（然后半个小时后还有增援）。#HOW I AI#

40. 推理算力首次反超训练

41. 算力大拐点

42. AI训练算力vs推理算力

43. AI推理时代降临

44. 从训练到推理

45. 【打火看点】推理需求爆发下的边缘算力投资

46. 大模型部署全景

47. 全球6G技术与产业生态大会（2026年）-推理比训练更难？大模型成本的真正敌人不是算力，是带宽

48. 推理算力为什么是AI未来需求的爆发点？

49. Vol.20 | GTC 2026后

50. 七成算力都拿去推理了，训练反而只占三成

51. 推理时代来了

52. 2026年AI基建支出4500亿美元！推理算力占比破70%，产业迎来拐点

53. 百度石清华

54. 警惕模型过度思考，谷歌提出模型推理质量评估新标准，算力成本直降50%

55. 大模型训练和推理有什么区别

56. 机构

57. 算力 "量价齐升"，推理拐点已至

58. 算力过剩？别被表象迷惑，一场“算力通胀”正在席卷全球

59. AI算力“硬通货”的时代正在加速到来

60. ASIC

61. 摩根士丹利

62. AI涨价不是重点，今天开始真正收费的是“推理时代”

63. 八天九款AI大模型密集发布

64. DMXAPI 主流大模型 API 调用分享，qwen3.6无需官方高价即可接入

65. 大模型API账单越滚越大，2026年我们该怎么省？

66. 从月花5万到5千

67. AI加量不加价？大模型集体涨价的真相

68. 云厂商集中涨价，大模型服务"越用越便宜"成历史，2026年Token调用量突破140万亿

69. 别只盯着算力卡！云厂商正在下一盘大棋云服务篇——云厂商正在涨价，一场商业模式的大迁徙。阿里、百度云同步涨价，最高涨幅超 30%，绝非单纯硬件成本上涨。AI 与 Agent 爆发下，云厂商正在告别传统算力租赁模式，全面转向MaaS 模型即服务。按时长付费过时，按 Token、任务步数计费成为主流，平台靠生态、工具链、一键部署深度绑定用户。云行业竞争从硬件内卷，升级为软件 + 生态壁垒，涨价是长期趋势。下期拆解

70. 云代理商

71. 中国信通院苏越等

72. 告别全免费！DeepSeek、智谱、阿里集体变阵

73. 用 Gemini API 做客服机器人贵不贵？嘀嘀云国际按 Token 算账与省钱建议

74. AI推理成本大揭秘

75. AI模型压缩新突破

76. 训练AI只需要跑完前10%，剩下的90%都能在小模型上跑

77. 新技术让AI模型边学习边更轻更快

78. MIT新算法颠覆AI训练

79. 建议收藏 | 吃透这3种LLM缓存策略（KV/前缀/语义），部署效率翻倍！

80. Radix树KV缓存复用

81. 大语言模型推理缓存完全指南

82. NGC

83. DeepSeek 输入缓存（Input Cache）原理

84. 推理上下文记忆存储平台 (ICMS)

85. 【面试】你真的懂大模型推理？（1）

86. Token 调用破 140 万亿，中国 AI 正在铺管道

87. 云端GPU算力按需租用

88. DMXAPI 按需计费灵活无套路，优选调用 DeepSeek-V4，限时 2.5 折优惠用多少花多少 - 哔哩哔哩

89. “词元套餐”上线

90. 大模型训练成本暴涨16倍

91. 笔记

92. 2026年全球AI算力增长空间深度报告

93. 多模态大模型算力消耗

94. Token量翻倍，算力却在“闹饥荒”

95. AI智能体应用普及，算力需求爆发式增长

96. 算力刺客？Shopify与Roblox警告AI推理成本正在抵消裁员红利

97. 中国AI模型成本仅美国1/9

98. 5个降低AI成本的有效技巧

99. 成本效率优化

100. Token 消耗与哪些因素相关？全面解析 AI 模型的成本构成

101. AI算力需求转向推理主导：产业进入“用大脑”时代

102. AI算力从训练转向推理：2026年占比65%-68%，市场格局如何重塑

103. 推理算力占比超70% 智能体互联重构云网算协同机制

104. 通信｜推理+训练驱动算力需求井喷，云厂商资本开支或加码

105. AI 算力大变天：训练时代结束，推理时代来了总起篇——AI算力风向变了！我的独家发现：训练不再是主角。AI 算力正在从训练时代全面转向推理时代。高质量文本数据接近枯竭，训练算力增长见顶、性价比持续下滑；而推理成本暴跌百倍，应用场景全面爆发。德勤预测，2026 年推理负载将接近总算力一半。下期深度拆解：Agent 智能体如何彻底重构底层算力，抓住新机遇。#AI算力 #大模型推理 #算力重构 #科技 #人工智能

106. 所有人都觉得大模型越做越贵，但MoE说：可以便宜10倍

107. 2026全球AI算力产业链重构：推理主导、液冷爆发、国产自立，万亿赛道步入硬核决胜期

108. 计算机行业AIDC与算力租赁专题：算力需求扩张下的基础设施重估-25页（附下载）

109. 推理算力爆发！占比超 60%算力租赁从 “训练为王” 转向 “推理为王

110. 医生数据资产变现计划 | 推理数据量首次超越训练数据，医生生临床思维数据资产将成为不可替代的核心价值

111. 大模型推理和训练阶段的不同点在哪里

112. 推理算力领域的发展前景如何

113. 推理算力反超训练算力！一文搞懂训练算力与推理算力如何区分，各有哪些厂商？

114. AI大模型训练芯片和推理芯片有什么不同？烧钱和省钱大PK

115. 从训练到推理：大模型算力需求演进

116. 行业资讯|AI大模型与芯片：从训练到推理，算力需求如何“倒逼”芯片升级？

117. 2026算力新局：推理算力为何正在碾压训练算力

118. 智能体带来推理算力需求指数级增长，机构预测2025至2030年执行次数将增长一万倍。CPU与GPU配比从传统1:8快速提升至1:1甚至更高，CPU价值迎来重估。算力架构从GPU单点转向CPU+GPU+存储+互联的系统，催生PCIE、CXL、超节点交换芯片大爆发。国产算力通过系统工程提升整体效率，交换芯片成为绕不开的核心环节。#AI算力 #交换芯片 #智能体 #推理算力 #dou上热门

119. 当推理吃掉七成算力，国产芯片等来一个窗口期

120. 2025年我国用于人工智能训练和推理的数据总量同比增长42．86％

121. 人民日报 | 2025年我国用于人工智能训练和推理的数据总量同比增长42.86%

122. 如何大幅降低大模型的训练和推理成本？

123. 字节跳动突破：12GB模型压缩至1.6GB保持图像生成效果

124. AI芯片：训练很热闹，推理更赚钱

125. 建议收藏 | 吃透这3种LLM缓存策略（KV/前缀/语义），部署效率翻倍！

126. 推理成本太高、算力不够用？单纯堆卡没用，得靠极致的“压缩”与“调度” | AICon

127. DeepSeek月调用超17万亿Tokens，MoE如何压低大模型算力成本？

128. 大模型 API 成本到底怎么算？企业别只看单次调用价格

129. MoE：大模型「偷」算力的秘密武器

130. 杨元庆：AI算力需求“爆发式”增长，未来推理将消耗70%算力

131. 稀疏权重推理优化简介

132. 大模型推理并行策略技术说明文档

133. 亿级 API 调用案例排行，企业级大模型 API 中转站首选星链 4SAPI

134. 2025年我国用于人工智能训练和推理的数据总量同比增长42.86%

135. 云服务器代理商：云上跑ChatGPT模型计费怎么选？

136. AI工业丨边缘轻量化AI推理在工业物联网设备监测中的应用原创

137. 微软推低成本高效文生图模型MAI-Image-2-Efficient，成本降低41%

138. AI算力节能秘诀曝光！别再用传统方法烧钱了，技巧才是真省钱王。

139. 从训练集群到推理微调，互盟智算中心如何成为大模型Token高效流转的一站式算力基座

140. 阿里云代理商：AI 推理和轻量应用通用计算资源的计费性价比玩法

141. 会议纪要 | 地大（北京）王玉柱：破局大模型“算力瓶颈”——面向深地金矿的高效分布式训练与推理加速之道

142. 大模型推理提升｜KV缓冲优化新突破

143. TinyML-CAM：在1KB RAM中实现80 FPS的嵌入式图像识别系统

144. 什么是训练与推理：“孕育”AI与使用AI的算力两重天

145. MoE 模型还不够稀疏？动态专家剪枝让大模型推理再次“瘦身”

146. 算力在抢电，这事儿比你想的大

147. Mixture-of-Experts推理优化新方案：解锁大模型边缘部署新路径

148. 【世界模型】小鹏X-Cache：跨块缓存加速自动驾驶少步自回归世界模型推理！

149. 在ESP32和STM32上运行TinyML，有什么区别？怎么选择？

150. 大模型推理引擎概述

151. 5 层压缩砍半 Token 消耗！AI Agent 成本优化神器 Claw Compactor 实测

152. LMCache：基于KV缓存复用的LLM推理优化方案

153. 阿里云服务器计费全解析：包年包月与按量付费等五种模式区别及最新活动

154. 如何用API中转站把AI成本降低50% 2026实操全指南

推理成本飙升背后：AI产业从“造模型”到“用模型”的结构性迁移

精选参考来源