大模型训练“不再堆料”?创业公司的窗口是真的,但不在训练里

源自179位全网作者

15:25

先给结论:大模型训练“不再堆料”只说对了一半——停下的是“参数堆料”,算力不但没少堆,反而把堆料的主战场从预训练挪到了后训练和迭代速度上。对创业公司而言,窗口确实存在:推理价格被一路打下来,应用层第一次能以极低成本“租到”前沿能力;但自研基座模型这条训练赛道的入场门槛,不降反升。

这轮“算账转向”最直接的信号来自谷歌。11月11日,Gemini 4 Carbon 全面开放,官方没有只晒分数,而是把成本一起摆上了台面。优惠期内 API 每百万输入 2 美元、输出 10 美元,11 月 30 日之后涨回 4 美元和 20 美元。今日头条今日头条

几天后的 Gemini 4 Hydrogen 更激进:面向所有用户免费开放,API 每百万输入 1.5 美元、输出 7.5 美元,整个 100 万 token 上下文统一价。它在 Artificial Analysis 智能指数拿到 51 到 54 分,反而超过了自家参数更大的 Argon。更小的模型、更低的定价、够用的能力——这就是“不堆料”叙事的全部内容。今日头条今日头条

停的是参数堆料,不是算力堆料

“堆料”一词最早指向参数规模。而现在的主流旗舰大多是稀疏架构,参数总量越来越大、真正参与每次计算的部分越来越小,参数量已经失去了直接比较的意义。哔哩哔哩

把标尺换成实打实付出去的训练算力,曲线完全不像退烧:2012 年有记录的最大训练算力只有 600 petaFLOP,2025 年到了五千亿 petaFLOP,十三年涨了约八亿三千万倍。头部玩家的动作也在印证这一点:微软披露的 2.8 万亿参数基座 MAI-2-Base,预训练在 1.6 万张 GB200 上跑了 38 天;而估算中下一代前沿基座要 10 万张以上 Blackwell 级卡跑两个月,算力差距约十倍。哔哩哔哩知乎

真正在变的是算力花在哪个阶段。Kimi K3.1 Pro 靠后训练强化学习抬升能力引发讨论,一位从业者转述采访里的算力分配是 3∶1∶1——三份用来试错,一份预训练,一份后训练。预训练不再是唯一吞金兽,但试错与后训练的开销被记进了新账本。训练方法本身也在被重新审视:11 月初 LeCun 团队发表论文,一个 1.09 亿参数的模型在跨模态表征对齐任务上超过了 720 亿参数的 Qwen2.5,达到同等效果所需样本量降到约 1/42。但这场胜利有明确边界:比的是特定对齐指标、证明依赖理想化条件,不能外推成“小模型已能替代大模型”。知乎36氪

创业公司的窗口:开在推理侧,卡在训练侧

推理侧的红利是真实的。11 月 14 日更新的 MathArena 榜单——题目全部取自模型训练截止之后才公开的数学资料——把“聪明”和“划算”拆成了两条坐标轴:Gemini 4 Carbon 预期准确率约 85.4%、单题成本约 15.70 美元,GPT-6.1 Sol 约 80.6%、单题只要 1.07 美元,Claude Fable 5.2 排第二、单题却要 40.20 美元。对创业公司来说,这意味着花一美元量级的成本,就能买到过去需要昂贵私有模型才勉强够得着的能力,产品创新的启动资金被大幅压低。今日头条

但训练侧是另一张账。同一份 MathArena 里,排名最高的开放权重模型 Kimi K3.1 Pro 准确率 54.3%,与闭源前沿仍差着约 30 个百分点——“门槛降低、追兵赶上来了”目前只是叙事,不是数据。追赶路径本身也在收窄:一篇 11 月 11 日的行业分析称,OpenAI 与 Anthropic 部署反蒸馏防护后,业内普遍估算蒸馏追赶的短期成本上涨 5 到 10 倍、极端场景可达 20 倍;而做出能承接前沿知识的 3T 到 5T 基座,至少需要几万张高端卡。需要说明,这些是自媒体转述的行业估算而非官方统计,但方向与公开事实一致:前沿模型已进入 5T 到 10T 参数级,蒸馏“抄作业”的性价比正在快速退潮。今日头条知乎

国内团队还要多背一层成本。同一篇分析称,国内高端卡价格约为海外的 5 倍,模型行业毛利率仅 20% 左右,明显低于海外约 45% 的水平;若海外实验室明年落地递归自我改进(RSI),中美模型差距可能从现在约 12 个月进一步拉大到 18 到 24 个月。RSI 的本质是把“生成—验证—迭代”的试错交给算力并行跑,迭代速度由卡的规模决定——这正是“堆料没有停、只是换了地方”最硬的证据。与此同时,谷歌们主动降价下沉,狙击的恰恰是国产模型赖以立足的性价比护城河;留给创业公司的安全区,更多落在强合规的本土客户、本地部署和垂直场景数据上。知乎

变量清单:接下来看什么

外部环境还有两个未落定的大变量。一是英伟达 11 月中旬确认 CEO 交接、永久继任者未定,叠加新一轮芯片出口管制推进,高端卡许可、特供芯片参数和东南亚算力租赁的执行尺度大概率只会更严;“国产算力窗口期”因此被反复讨论,但对依赖海外算力的团队更像风险而非机会。二是资本面:华尔街已开始讨论算力生态“下一轮融资更难、更贵”,估值回调与算力租赁商股债双杀都在提醒,训练军备竞赛的现金没有想象中充沛。知乎36氪

回到标题里的问题:窗口来了吗?来了,但它不是为“再训一个前沿基座”准备的。判断这个窗口是否真正打开,有三个可观察信号:11 月 30 日促销期结束后,前沿模型会不会继续维持低价而不只是短期促销;MathArena 这类“准确率—单题成本”双轴榜单上,开放权重与闭源前沿的差距是否开始收窄;以及低精度训练(FP8、4-bit)能否从厂商自测走进大规模生产。三个信号里,前两个决定创业公司买推理的成本,第三个才真正决定训练入场券的价格——目前它还悬而未决。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章