什么值得买App下载 App ›
连续签到专享现金活动

腾讯混元Reddit答了300问:模型越写越油,这次认了

11 月 21 日凌晨,腾讯首席 AI 科学家姚顺雨带着混元团队的研究员现身 Reddit 的 LocalLLaMA 社区,开启了混元团队第一场面向全球开发者的公开 AMA。极客公园

腾讯混元Reddit答了300问:模型越写越油,这次认了

两小时里团队收到 300 多条留言,网友在评论区提问、成员直接回帖。参与名单只列了 Reddit 账号,姚顺雨也出现在评论区,只是哪个是他的马甲不得而知。但这场问答最值钱的,不是他们宣传了什么,而是他们认了什么。腾讯混元量子位智东西

先认了"越写越油"

有网友问得很直接:以前用 Claude 3.5 改文字,现在不用 5.5 了,Qwen 3.6 也比 3.8 更会写,这是模型拿太多代码训练、过拟合了吗?混元没绕:我们也注意到了,可能和训练目标有关,希望模型写得更像人、少一点套话,正在改。这句话挺重——过去默认的锅是"你提示词没写好",现在厂商自己接了过去。腾讯混元量子位

顺带还交代了另一件事:后训练阶段最难改善的行为是什么?答案四个字——过度思考。Hy4 的思维链过长是已知问题,flash 是靠强化学习硬压短的。你嫌某个模型啰嗦,那不是 bug,是它还没治好的病。极客公园腾讯混元

腾讯混元Reddit答了300问:模型越写越油,这次认了

再认了算力不够、榜单不刷

现场有媒体提问:先进 AI 芯片越来越难拿,Hy 系列最大的瓶颈是算力、训练效率还是算法?回答只有一句,“我们正在尽可能充分地利用现有资源,以追赶前沿水平”。翻译过来——算力确实紧。智东西

刷榜那件事更意外。有人问为什么不公布 GPQA Diamond、tau bench、SWE Bench 这些常见分数,混元说这些基准出得太早、分数已经饱和,他们展示的是 Agents’ Last Exam、ProgramBench 这类新难题。自评也给了。按谷歌 DeepMind 那套 AGI 分级,一位成员说 Hy4 大约是 2.5 级。至于让模型自己改进自己(RSI),团队说仍处于早期阶段。极客公园量子位智东西腾讯混元

最实用的部分:小模型全在路上

想本地部署的建议重点看这段。被问到会不会有更小的模型,团队几乎全给了肯定答复:Hy4-mini 和 Flash-Lite 已在规划中,24–31B 稠密模型正在评估。极客公园量子位

  • 面向 24GB 显存设备的模型:确认未来会推出。

  • 64GB–128GB 内存能跑的模型继续开发,Q4 量化后适合 128GB 内存的开放权重模型也给了肯定答复。

  • 5–12B 级小型开源图像模型在考虑,新一代视频模型也在范围内,Hy-MT 翻译模型即将升级。

  • 唯一明确不做的:100B 以下、专门面向编程优化的模型。

现场有位网友说,就因为这次 flash 发布,他真的开始考虑买个服务器机架了。先别。上面那张清单里,24GB 显存的官方模型还只是"确认未来会推出"。这时候等一等,比现在凑硬件划算。腾讯混元智东西

已经能跑的,和先崩的

96GB 显存 + 128GB 内存能不能跑 flash?答案是能:主权重和注意力放 GPU,一部分专家层和 Engram 表卸载到系统内存。但别高兴太早,提问的网友自己算过,220B 总参即使 Q4 量化也要 130GB 以上,单 GPU 和 64GB 的 Mac 还是吃不下。量子位极客公园腾讯混元

腾讯混元Reddit答了300问:模型越写越油,这次认了

想靠量化省显存的,团队给了个很实用的预警:把激活参数从 12B 压到 3B,最先退化的是推理深度、长上下文跟踪和工具调用可靠性,2-bit 训练后量化会远早于三值 QAT 失效。省下来的显存,通常先从"能不能把长任务跟完"里扣。智东西

生态这边也确认了:Hy4 和 Hy4 flash 已经能在 OpenCode、Claude Code、Cline 里直接用,llama.cpp 适配正在推进、即将向社区发布。想先白试的,11 月 30 日前可以在 WorkBuddy 限时免费体验 Hy4 flash。至于花多少钱,腾讯自建的 WorkIndex 评测里,flash 单任务成本约为 Hy4 的二十分之一,85 名内部用户、259 项任务的盲测里单任务约 0.26 元。口径要说清:这是特定测试里的相对结果,换一套任务,重试次数和人工复核的投入都会变。腾讯混元极客公园量子位智东西北渡人工智能

最后

被问到研发中最困难的时刻,答案是从 Hy3 扩到 Hy4:数据消融做得不够,“说实话,训练刚开始时,我相当紧张”。好在结局不坏,“那种感觉就像孤注一掷地赌了一把,结果真的赢了”。一场 AMA,路线图会过期,参数会被超越,但厂商愿意公开说"这个我们做得不好",这种事不多。下次再觉得新模型写东西越来越油,至少你知道了:不是你的错觉,也不全是你的提示词。腾讯混元智东西

评论

评论区空态插画

当前文章无评论,是时候发表评论了