11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit的r/LocalLLaMA社区进行了一场持续约120分钟的AMA,与全球开发者交流并参与答问。这也是混元团队首次在开发者社区公开答问。时点相当微妙:前一天,腾讯刚刚开放旗舰模型Hy4的权重,并发布模型安全评估卡片(System Card),此前几天还上线了主打低成本、高效率的Hy4 flash。在这场问答里,下一代模型"进一步大幅扩大规模"的路线图、"不刷榜"的评测立场和继续开源的表态,都被摊在了台面上。知乎知乎知乎智东西
算力:承认受限,“把现有资源榨到极致”
开发者与媒体问得最多的是先进AI芯片获取受限会不会拖慢追赶节奏。混元团队的回答很直白——“我们正在尽可能充分地利用现有资源,以追赶前沿水平”。就在AMA前一晚开放的Hy4权重,据公开报道为770B参数规模、支持1M上下文。智东西哔哩哔哩

规模路线:下一代要变大,但先证明"小而扎实"
混元明确表态:下一代Hy模型"肯定会进一步大幅扩大规模",同时将大力投入大规模强化学习。面对提问者关于字节、Kimi冲向3T甚至5T超大规模、Hy系列仍处于700B左右规模的议论,团队没有直接确认具体参数,而是强调规模较小但训练扎实的模型往往也能超越更大的模型,成本更低、积累的经验更多。智东西
小尺寸产品线也一并摊开:Hy4-mini已进入开发路线图。技术先进的Flash-Lite在路上,面向24GB显存设备、64GB—128GB内存设备的本地部署模型得到确认,24B—31B稠密模型仍在考虑之中。多位开发者据此判断,混元的迭代节奏正在向"先发大模型、再发小模型"的主流打法靠拢。智东西
成本与架构:单任务0.26元,和一次"孤注一掷"
价格是整场AMA里最能落地的证据:Hy4 flash总参数224B(含64B Engram参数)、每Token仅激活12B,在自建WorkIndex评测中单任务成本只有Hy4的1/20,85名内部用户、259项工作任务的盲测里单任务成本约0.26元。智东西
架构细节的披露超出了社区预期。团队第一次讲清Hy4注意力机制的内部纠结:GQA和MLA之间反复权衡,MLA质量更好但计算强度更高,直到DSA降低了MLA解码阶段的计算开销,才最终决定采用MLA。Hy4 flash则在此之上叠加iHC、门控MLA、DSA、混合SWA等组件,其中SWA把KV Cache规模缩小4倍,显著压低推理服务成本。智东西
对于"MoE越稀疏越好"的流行思路,团队划了一条清晰的边界:固定激活参数量时提高稀疏度确实有效;但固定总参数再砍激活参数(如156B-A8B/A5B)会显著损害质量——“减少激活参数意味着更少的计算投入,以及能力更弱的模型”。智东西
被问到研发中最困难的时刻,成员的回答是从Hy3扩展到Hy4:数据消融实验做得不够充分,“训练刚开始的时候,我非常紧张……那种感觉就像孤注一掷地赌了一把,结果真的赢了”。智东西
榜单与友商:分数会饱和,但"排前三"不当
对为什么不公布GPQA、SWE-bench等常见基准成绩,团队给出的解释是:这些基准推出较早,分数已经趋于饱和。他们展示的是Agents’ Last Exam、ProgramBench等更新的评价体系。智东西
最出圈的一问是让团队抛开跑分,给DeepSeek、智谱、月之暗面、阿里等开源实验室排出前三,对方当场拒绝:“我才不上这个当呢,大家都很优秀”。热搜话题"姚顺雨拒评友商排名"由此而来。对Artificial Analysis等第三方榜单是否偏向西方闭源模型的质疑,团队同样没有就单一榜单表态,只说明会综合内部基准、公开评测、第三方评测和真实用户反馈来判断模型表现。智东西知乎
承认的短板:过度思考、爱说套话、不会音频
这场AMA同样有不少"示弱"时刻。Hy4有时会花过长时间推理,团队承认较长思维链是为最大限度提升智能付出的已知代价,再蒸馏给flash用强化学习压短。写作上,团队直面了大模型文本模板化的通病:“我们希望自己的模型能够写得更像人类,表达更加自然,而不是千篇一律、充满模板感”。创意写作和可读性已被列为重点改进方向。智东西
音频能力则当场认缺:Hy4目前尚不支持音频理解和音频生成,语音需求只能先用腾讯元宝的ASR和TTS顶上。被问及按Google DeepMind的AGI能力分级Hy4处于哪一级时,团队成员给出的个人判断是"大约是2.5级"。在这套分级里,3级意味着"专家级窄AI"普及,与全球前沿的距离随之摆上台面。智东西

安全侧的坦白同样少见:腾讯有意从训练数据中剔除了漏洞利用、逆向工程等进攻性内容,评测显示Hy4的漏洞发现能力较强、漏洞利用能力相对较弱。团队称这是负责任开源的必要限制,同时承认避免过度拒答仍是待改进项。智东西
接下来该盯什么
AMA留下了一串可观察的信号:Hy-MT翻译模型即将升级。更小的图像模型在考虑中,视频模型被提示"近期关注动态"。智东西
但边界同样清楚:Hy4在部分高难度任务上,仍与全球顶尖闭源模型存在差距。"把现有资源充分榨干"能否兑换成代际能力,要等那款"大幅扩容"的下一代混元来验证。智东西
当前文章无评论,是时候发表评论了