唐杰署名论文曝出智谱内部多模态模型GLM-Omni:画得出、说不出,GLM旗舰多模态化近了?

源自172位全网作者

10-26 18:42

10月19日晚上,微博账号"蚁工厂"发了条短消息:智谱刚发了一篇新论文,唐杰老师也是作者之一,地址是 arXiv:2610.21459。论文标题叫《Can Visual Generation Expand What Unified Multimodal Models Know?》——图像生成能不能扩大统一多模态模型的知识?真正让技术圈骚动的是论文里一个从没露过面的名字:GLM-Omni。论文标注它是智谱的内部实验模型(in-house),没有公开权重,也没有复现入口。六天后涟漪荡开:10月25日,知乎上前后脚出现两个相关问题,10月26日仍有长文回答在持续更新。微博知乎

唐杰署名论文曝出智谱内部多模态模型GLM-Omni:画得出、说不出,GLM旗舰多模态化近了?

一篇论文,测的是"模型到底知不知道"

这项研究来自清华大学与智谱(Z.AI)的联合团队,AI科技评论称唐杰为论文通讯作者。它想回答的问题是:当一个模型同时会"看图"和"画图",图像生成训练学到的新知识,能不能被它的语言侧调用出来?研究者给这种"能不能用文字答出来"的能力起了个名字:文本可及性(textual accessibility)。知乎

难点在于怎么证明一个知识确实来自这次的图像训练,而不是模型早就从文本语料里背过。团队的解法是造一个虚构世界 MagicWorld:7 类知识——颜色、计数、形状、大小、空间、号码、文字,每类 50 个虚构实体,共 350 个知识单元,配套 8552 张图。关键操作是"泄漏隔离":训练配文只写实体名和场景,答案(比如球衣号码)只出现在图片像素里,caption 绝不提。训练结束后,不给任何图,纯文字提问。答对了,才能说知识从图像通道进了模型、又能从文字通道取出来。这套协议被命名为 KTP(Knowledge Transfer Probing,知识迁移探测)。知乎

唐杰署名论文曝出智谱内部多模态模型GLM-Omni:画得出、说不出,GLM旗舰多模态化近了?

最扎眼的发现:画得出,说不出

实验对比了三个统一多模态模型:BAGEL(理解与生成放在相对独立的专家分支)、商汤 SenseNova-U1(直接建模像素),以及首次现身的 GLM-Omni——它由 GLM-4.1V-Thinking 的预训练基座初始化,接入基于 X-Omni 的离散图像 Tokenizer。知乎

直接迁移条件下的差距相当刺眼。按 BAGEL、GLM-Omni、SenseNova-U1 的顺序,平均视觉正确率分别是 31.43%、54.00%、61.14%,而纯文字问答只有 8.86%、14.57%、20.00%。更极端的是号码任务:GLM-Omni 能把指定号码正确画在球衣上的比例做到 72%,研究人员拿走图片改用文字问号码,正确率只剩 2%;SenseNova-U1 的号码视觉正确率高达 88%,纯文字回答是 0%。论文里的案例更戏剧化:一个虚构球员,训练图里的球衣号码是 31,模型能把它画对,开口却答 69。知乎知乎

唐杰署名论文曝出智谱内部多模态模型GLM-Omni:画得出、说不出,GLM旗舰多模态化近了?

为什么"会画"不等于"会知道"?因为生成训练的目标是根据提示重建画面,只要实体和属性的关联能帮助还原图片就够了;而文字回答还要沿着语言输出路径找到对应属性、把它变成词。参数共享不代表两条通路已经打通。KTP 还把"画对/画错"与"文字答对/答错"做了配对分析,发现 GLM-Omni 在文本对齐条件下甚至出现反常:画对的知识单元里文字答对率只有 6.90%,画错的单元里反而有 18.18%。换句话说,只测生成分数的评测报告,可能系统性高估了模型"知道"的程度。

三条"打通"路径,结果并不整齐

论文试了三条补票路线。第一条 Textual Alignment,给一半实体补文字问答样例、留另一半裸考:BAGEL 从 8.86% 升到 15.43%,SenseNova-U1 从 20.00% 升到 28.00%,GLM-Omni 反而从 14.57% 降到 12.57%。画图和答题各练各的,模型练会了两个技能,却没学会在两者之间接线。知乎

第二条是图文交错对齐(Interleaved Image–Text Alignment):把"生成球衣→读出号码→给出答案"串进同一条训练序列,让图像损失和语言监督在同一个实体上相遇。GLM-Omni 的平均文字正确率从 12.57% 提到 26.86%,形状任务从 12% 升到 64%,空间排列从 0% 升到 40%。为验证提升真的来自图像监督而非多看了一段文字,团队做了消融:只屏蔽交错样本里的图像损失,正确率立刻从 26.86% 跌回 13.71%。知乎知乎

唐杰署名论文曝出智谱内部多模态模型GLM-Omni:画得出、说不出,GLM旗舰多模态化近了?

第三条最实用:Visual CoT,回答之前先生成目标图像、再看图作答。GLM-Omni 平均正确率从 26.86% 升到 41.14%,三个模型在号码任务上都从 0% 拉起到 4%、36%、20%。开头那个答 69 的 SenseNova-U1,先画球衣再读图,改答出了正确的 31。但天下没有免费的接线:先画再答意味着额外的算力与延迟,书籍标题这类复杂字符任务在 Visual CoT 下依然没有改善,图画错了还可能把答案带偏。知乎

GLM-Omni 就是下一代旗舰吗?社区意见分裂

论文一出,社交平台马上有人把 GLM-Omni 与传闻中的 GLM-5.5 联系起来。但知乎上讨论量最大的回答之一(赞同41、浏览6631)明确泼了冷水:“GLM-Omni 是 5.5 内部版"的猜测"不太靠谱”——论文从未披露两者的版本对应关系。早期关注此事的技术用户"恋猫"的判断更克制:GLM-Omni 不会是社区一直在传的 GLM-5.5,但方向上大概率有一定关系,因为 GLM-Omni 是基于 GLM-4.1V-Thinking 的预训练基座初始化的。知乎知乎

期待不是没有理由。智谱的匿名模型传统刚好提供了剧本:8 月底,社区疯传的匿名模型"牛来"(Ox-Alpha)被智谱认领,正式开源为原生多模态的 GLM-5.3-Flash;今年 7 月唐杰向网友征求 GLM 5.3 建议时,评论区齐刷刷喊的是"要视觉"。连已上线的 GLM-5.3-Flash 都原生多模态了,论文里这个读图生图一体的 GLM-Omni,很难不让外界联想下一代旗舰。AI科技评论那句话点得很准:论文给出了技术底座和实验结果,但它会不会进产品,仍需公开信息验证。评论区那句玩梗——“模型总是在没发行和匿名的时候是最强的”——说的就是这种等待的滋味。知乎微博知乎

看完这篇论文,你会用不同的姿势测多模态产品

对多模态兴趣圈的用户,这篇论文至少留下四件能带走的东西。第一,评估口径:如果你关心的是属性问答(商品图找相似、图纸问答、截图检索),别只看生成效果,保留一组不附图片的纯文字问题单独验收——"图里正确、文字错误"的知识单元真实存在。第二,先画再答(Visual CoT)是一条可借鉴的工程路径,但要连同额外延迟和成本一起测,收益未必覆盖所有知识类型。第三,观察信号:GLM-Omni 会不会像 Ox-Alpha 那样被认领命名、MagicWorld/KTP 这类受控评测会不会进入第三方基准(论文数据集和协议已开源,判图用 VLM 未具名、结论限于合成虚构世界,外推到自然图像还要打折)、以及社区爆料的下一代旗舰(传闻 3.5 万亿参数)发布节奏。第四,时间不空:至少现在能用的多模态选项里,GLM-5.3-Flash 开源且原生多模态,智谱夜间还放过免费额度的羊毛,想亲手复现"会画不会说"现象的,现在就可以拿它开刀。知乎哔哩哔哩

唐杰署名论文曝出智谱内部多模态模型GLM-Omni:画得出、说不出,GLM旗舰多模态化近了?

证据、反证、再下结论——这篇论文值得记住的,也许不是 GLM-Omni 这个名字,而是它把"模型知道什么"变成了一种可以分通道读数的东西。

内容由AI生成

精选参考来源

1. @智谱刚发了一篇新论文:CanVisualGenerationExpandWhatUnifiedMultimodalModelsKnow?唐杰老师也是作者之一地址是:arxiv.org/pdf/2610.21459这篇论文研究了研究了统一多模态模型能否通过图像生成训练获取新知识,并将这些知识迁移到纯文本问答任务中。而且里面提到了一个新模型GLM-Omni...全文

2. 唐杰署名论文曝光智谱内部多模态模型,对下一代 GLM 架构演进有哪些影响?

3. GLM-5.5 要来了?唐杰最新论文,曝出智谱神秘模型

4. 智谱新旗舰被曝规模或达3.5万亿且瞄准Fable,这意味着什么?

5. 怎么看唐杰署名论文曝光内部多模态模型,下一代 GLM 旗舰会是多模态吗?

6. 如何评价智谱认领匿名模型「牛来」(Ox-Alpha),并上线开源其正式版本GLM-5.3-Flash?

7. 【#唐杰征求GLM5.3建议网友齐喊视觉#】唐杰发帖征求GLM5.3建议,浏览量破五十万。评论区诉求出奇一致:要视觉。GLM5.2跑分强悍却是纯文本模型,5.3能“长眼睛”吗?量子位的微博视频

8. 怎么看GLM-5.3-Flash发布,有什么值得关注的?

9. 智谱福利来袭,智谱夜间GLM-5.3-Flash模型免费使用,指定时间ZCode无限畅用攻略

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章