北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员现身Reddit的LocalLLaMA社区,完成了混元团队第一场面向全球开发者的公开AMA,围绕参数规模、架构取舍、算力与开源路线连续问答两个小时。知乎
整场问答里分量最重的一句话关于模型路线:团队确认下一代混元模型的参数量会显著扩大,并继续向更大规模投入研发。扩大规模已经是拍板的方向,什么时候兑现,才是这条热榜词条里还没写完的部分。微博知乎
与“扩大”同时出现的,还有另一句同样重要的表态:团队明确不跟风3T、5T的超大规模参数竞赛。在混元团队看来,打磨扎实的小尺寸模型同样可以胜过大参数模型,而且部署成本更低。把这条路线放回一周前腾讯财报电话会的语境里,含义才算完整——总裁刘炽平当时说,无论是租赁还是自建算力都面临约束,模型训练不可避免会受到影响,短期内推出下一个版本混元可能需要更长时间。想扩,但规模要从算力的缝隙里一点点挤出来,这才是“大幅扩大规模”的完整叙事。知乎知乎
“大幅扩大”从哪里扩起
先要看清现在站在哪里。旗舰Hy4发布于11月4日,官方模型卡标称语言主干总参数770B、每token激活49B,支持100万上下文,原生处理文本、图像与视频。11月20日,它的权重同步上架GitHub、Hugging Face、ModelScope、GitCode四大平台,混元LLM全系列至此完成开源。榜单上,Hy4拿下Agent Arena开源模型榜首、Artificial Analysis中国模型第二的成绩。微博微博知乎
另一端的Hy4 flash走的是相反的路:11月16日发布的这款模型总参数224B、激活12B,支持多模态及1M上下文,单任务成本仅为Hy4的二十分之一。同一天的行业参照是,阿里千问4.0Max(Qwen4-Max)总参数已达2.4万亿、单次激活710亿。在总参数这个单一指标上,770B确实还不是国内开源旗舰的天花板,“大幅扩大”意味着混元要把自家旗舰往万亿方向挪动,而“不跟风3T/5T”划定的,正是这场参数竞赛里它不肯跟进的那条边界。微博微博

团队透露的架构约束说明,这次的扩不是同比例膨胀:Engram这类记忆型参数的最优占比约在总参数量的三分之一,配比调整本身就是规模战略的一部分。稀疏度上也有明确的物理边界,过于稀疏的MoE会占用大量显存却无法充分利用算力,固定总参数、单纯削减激活参数则会显著损害模型质量。两条合起来看,下一代混元的规模增长更可能发生在总参数、激活参数与记忆型参数的新配比里;具体参数数字和推出时间,这场AMA没有给出。微博知乎
约束不在钱,在算力
资本上腾讯仍在加码:三季度经营性资本支出636亿元,同比大增257%,主要用于AI基础设施建设,受此拖累,自由现金流为负691亿元。知乎
需求端同步放量,WorkBuddy日活跃用户超过1000万、每天消耗100万亿token,最近七天收入按年化折算超过5亿美元。云服务收入同比增速也从上季度的21%加速至35%,主要受AI相关需求拉动。知乎
真正的卡点始终是供给。刘炽平给出的缓解路径有两条:训练端依靠效率,计算效率实际上正在逐年快速提升;部署端依靠国产化,国内供应链将逐步参与到模型推理环节,且这一进程预计还会加快。“大幅扩大规模”和“推出时间可能延迟”出自同一家公司相隔不到一周的两次表态,二者并不矛盾——前者是技术路线,后者是资源排期。知乎

对开发者来说,另一半规划更相关
这场AMA真正摊开的是“两端并行”:一端扩大规模探索智能上限,另一端压缩成本推进落地。更小的Hy4-mini、Flash-Lite以及能在24GB显存设备上运行的模型已经排进计划。其中24–31B稠密模型正在评估,5–12B级小型开源图像模型和新一代视频模型也在考虑范围内。微博知乎
开源承诺同样明确:团队称会继续坚持开源路线,即便未来做出AGI或最强AI也会开放。生态上llama.cpp、vLLM等社区的适配正在推进,本地运行Hy4 flash的硬件门槛是96GB显存加128GB系统内存,部分专家层可以卸载到主机内存。微博知乎
团队对短板也没有回避:“过度思考”被认定为后训练阶段最难改善的问题,创意写作要努力让模型“写得更像人,少一点套话”,递归自我改进仍处于早期、不是当前最高优先级。知乎
所以,这份“扩大规模”宣言之后,真正值得盯住的不是下一次公布的参数数字有多大,而是两个信号:小尺寸模型和24GB显存版能否如期落地——这决定腾讯的模型能力会不会变成开发者的生产力;推理侧国产供应链的渗透进度——这决定“大幅扩大”多久兑现。
当前文章无评论,是时候发表评论了