什么值得买App下载 App ›
连续签到专享现金活动

混元把优化重心押在后训练:普通用户能感知的四处体验变化

北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着团队研究员,在Reddit的r/LocalLLaMA社区做了一场持续120分钟的AMA公开问答,这也是混元团队第一次在开发者社区公开答问。面对“字节、Kimi都在冲3万亿甚至5万亿参数,你们为什么还停在700B”的提问,团队把下一步押在了训练方式上:“Hy4 仍有很大的提升空间,尤其是在后训练方面。我们正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。”。对不接触训练链路的普通用户来说,这场“后训练加码”大概率不会先带来一次智商跃升,而是先重写四处能亲手感受的体验:写作套路变少、回答更快到点、交代的事情更靠谱、用起来更便宜。微博微博知乎

混元把优化重心押在后训练:普通用户能感知的四处体验变化

先说清“后训练”是什么。预训练让模型读海量资料,解决“知道什么”;后训练则在模型上线前,用强化学习、指令微调和安全调优解决“会不会干活”——听不听得懂指令、写得好不好看、用工具稳不稳、什么话不该说。所以后训练优化不动知识底座,动的是行为方式,这正是它能在不换大版本的情况下快速改变体验的原因。混元在这条路上走了大半年:7月6日Hy3正式版发布时,腾讯就明确“进一步提升了其后训练的算力规模,以及数据质量和多样性”。11月4日的Hy4正式版,相对preview再次显著扩展预训练和后训练规模,并首次引入视觉能力。微博微博

混元把优化重心押在后训练:普通用户能感知的四处体验变化

Hy4的底座是总参数770B、激活参数49B、1M上下文窗口,已接入元宝、WorkBuddy/CodeBuddy、企业微信大圆、ima等产品。体验变化就发生在这些入口里。知乎知乎

变化一:少“想半天”,答案更快到点

被问到“后训练阶段最难改善的行为是什么”,团队只给了三个字:过度思考。他们承认Hy4的思维链过长是已知问题,但也正是这个特点让蒸馏出的flash版本更划算——flash上用强化学习控制思维链长度。落到用户身上,就是同一个问题,flash系更快给出干脆的答案,不必再等它“思考半天”。知乎微博

变化二:写东西少点套路,“AI腔”收敛

团队对行业里“大模型写作越来越像套话”的判断很直接:“这可能与模型的训练目标有关。我们希望模型写出来的内容更像人类,少一些套路化表达”。他们同时把创意写作和可读性列为重点改进方向,坦言已有投入但仍需打磨。对天天用AI写周报、写文案的用户,这是感知门槛最低的一项变化。知乎微博

变化三:交给它办事,掉链子变少

长程任务最能吃到后训练红利。工具调用上,团队把模型容易出错的高难度案例专门喂进强化学习数据,并用细粒度奖励对关键细节错误“施加更重的惩罚”。更棘手的是多轮RL里的环境漏洞诱发的奖励投机。所谓投机,就是智能体钻环境空子、上网搜答案蒙混过关,而不是真正解决任务。官方人机协同办公评测给出的平均效果得分83.18分、任务通过率96.15%。这类账面数字出自官方口径,真实成色仍要看任务实测。知乎微博知乎

被后训练反复“调教”的还有边界感。安全侧的改动可能让一部分用户最先察觉:团队明确网络安全训练聚焦防御与漏洞修复,同时承认“避免过度拒绝,仍然是一个重要的改进方向”。换句话说,动不动“这个我不能做”的情况,官方自己把它列进了待办。知乎

变化四:更小、更便宜、本地跑得起

后训练的投入还连着“省”。团队当场确认,更小尺寸的Hy4-mini已在路线图,Flash-Lite这类低开销小模型同样在路上。知乎微博微博

已经上线的Hy4 flash把TokenHub目录价打到每百万token输入0.5元、输出2元,缓存命中0.02元,11月30日前API还有限时五折。本地用户则拿到了更实际的门槛:96GB显存加系统内存即可运行Hy4 flash,部分专家层和Engram参数表可以卸载到内存里。微博知乎

一点提醒:别只看榜单,也别只听承诺

值得注意的是,这次AMA几乎每个承诺都跟着“敬请期待”,却没有给出时间表。判断标准上团队自己说了大实话:“单一网站并不能真正决定一款模型在现实世界中的采用情况”,内部基准、公开评测、第三方评测和真实用户反馈要一起看。GPQA、SWE-bench这些老基准的分数已经饱和,他们改晒Agents’ Last Exam这类更难的新评测。而社区一侧的怀疑并未消散,“hy4 被诟病刷分不是一天两天了”。这种观感仍未消散,也正是后训练要偿还的旧账。微博知乎知乎

混元把优化重心押在后训练:普通用户能感知的四处体验变化

对普通用户,验证这些变化不必等发布会:拿一段写作任务看它还有没有套话,问一个多步任务看它是不是还在绕远路,再看它动不动拒答。榜单会饱和,承诺要兑现,唯有体验是即时的。

评论

评论区空态插画

当前文章无评论,是时候发表评论了