什么值得买App下载 App ›
连续签到专享现金活动

混元AMA交底:770B旗舰要8卡,24G显存版确认会出

凌晨的 Reddit r/LocalLLaMA,是全球在自家机器上跑模型的人扎堆的地方。11 月 21 日,腾讯混元团队第一次跑到这儿公开答疑,姚顺雨带着团队成员守了 120 分钟。小红书微博

问题密密麻麻,但本地玩家真正想问的只有一句:我桌上这台机器,什么时候能跑上你们的模型。

这次的回答,比以往任何一场发布会都具体。

混元AMA交底:770B旗舰要8卡,24G显存版确认会出

先把旗舰摘出去:770B 不是给你的

AMA 前一天,也就是 11 月 20 日,混元把旗舰 Hy4 的权重放了出来,Hugging Face、ModelScope、GitCode 和代码仓库同步上架,一口气给了三个检查点:指令版 Hy4、FP8 量化版 Hy4-FP8、预训练底座 Hy4 base,另外还带了 GGUF 和系统卡。知乎

数字很唬人:语言主干 770B,每个 token 激活 49B(读图再算 1.23B),上下文 1048576 个 token。知乎

但决定"跟你有没有关系"的是体积。BF16 完整权重约 1.55TB,FP8 约 786GB,官方部署示例直接开到 8 卡并行。知乎

那份 GGUF 更像跑通端到端流程的测试入口,不是让你在家用旗舰的门票。想真跑 Hy4,先准备一台服务器。知乎

混元AMA交底:770B旗舰要8卡,24G显存版确认会出

许可证被传错了,但跟你没关系

先纠正一处:有媒体把 Hy4 的协议写成 Apache 2.0,而官方 LICENSE 文件的标题是 Tencent Hy License, Version 1.0,开篇就写明它派生自 Apache 2.0,但"不是 Apache License, Version 2.0"。知乎

混元AMA交底:770B旗舰要8卡,24G显存版确认会出

差别全在第 10 条,只管大规模 MaaS——把模型推理或微调远程开放给第三方那种生意。两条里中一条才触发:任意连续 12 个月全球总收入超过 5000 万美元,或任一自然月产品月活超过 1 亿,这时才需要另外找腾讯签书面许可。知乎

第 10.3 条同样明白:仅供内部使用、不向第三方提供模型及其输出的,不受这条限制。知乎

翻译成大白话——你在家跑、公司内部跑,一条门槛都碰不到。

给本地玩家的,是 AMA 里那串"会做"

旗舰摘出去之后,剩下的内容才是这个社区想听的。混元团队连着给了几个肯定答复:

  • Hy4-mini 已经在开发路线图上,后面还会有更多小模型;

  • 24B—31B 规模的稠密模型,团队正在考虑;

  • 明确会推出面向 24GB 显存设备的模型;

  • 适合 64GB—128GB 内存设备运行的模型,会继续开发;

  • 与当前规模相近、经 Q4 量化后适合 128GB 内存设备跑的开放权重模型——肯定回答;

  • 一款技术先进的 Flash-Lite,“敬请期待”。36氪

清单挺长,但有一个共同的空缺:没有一条给了日期。

最扎心的一问,官方认了

整场 AMA 信息量最大的一轮交锋,来自一个本地用户。他说"稀疏度越高越好"在数据中心成立,本地不成立:受内存带宽限制,激活 12B 的模型在 Strix Halo 和 DGX Spark 上跑得不快,反倒是激活参数更小的模型体验更好。36氪

混元AMA交底:770B旗舰要8卡,24G显存版确认会出

混元团队没有绕开这句话,回答是:“我理解你的观点。对于端侧模型,我们会采用不同的设计思路,更紧密地结合边缘设备 GPU 硬件的特点,共同设计模型架构。”36氪

这句话比任何跑分都值钱。它等于承认:眼下这波统一内存小主机,跑 12B 激活并不轻松,官方知道,而解法在下一代端侧模型里。

顺带一个值得记的数:Hy4flash 用的混合滑动窗口注意力(SWA),能把 KV Cache 规模缩小 4 倍。官方给的口径是"显著降低推理服务成本",但对本地跑长文本的人来说,KV Cache 就是显存账单本身。36氪

所以,等还是不等

分三种人说。

单卡 24GB 这一档的:官方点名会出 24GB 显存版,但没日期。别为"等混元"停下手里的事,更别提前加钱换卡——等它真放出来,你手上这台正好接得住。36氪

128GB 统一内存小主机的:Q4 量化后 128GB 能装下的开放权重模型拿到了肯定答复,这是好消息。但别忘了上面那轮交锋,12B 激活在内存带宽上并不轻快。这台机器该按"现在能跑的模型"算账,不该按"以后能跑的"算账。36氪

想跑旗舰 Hy4 的:8 卡起步,1.55TB。这不是消费级话题。

最后补上官方自己承认的短板:Hy4 较长的思维链"过度思考"是已知问题,目前也不支持音频理解和音频生成;被问到芯片受限怎么办,团队的回答是"我们正在尽可能充分地利用现有资源,以追赶前沿水平"。36氪

这场 AMA 最实在的地方,不是许了多少愿,而是它把"什么时候"全部留白了。留白本身就是答案:机器按现在能跑的模型买,别按路线图买。

评论

评论区空态插画

当前文章无评论,是时候发表评论了