从读图到造世界,这周的多模态AI玩太大了

源自240位全网作者

17:48

“多模态是不是不吃香了?”——这是过去俩月被反复顶到热门的问题。结论先放这儿:不是凉了,是换主线了。光这一周,它就连变三次。微博

先说坏消息:无所不能的模型,物理不及格。

只看发布会,2026年的多模态模型似乎已经无所不能:能看图、读表格、啃几小时的视频,还能用自然语言剪片子。但知乎本周热议的一组物理评测把大家拽回地面——一套叫PhysVista的测试体系,几乎把市面上顶尖的视觉语言模型拉了个遍,结果在"理解物理世界"这门课上普遍不及格。评测圈自己也在承认:MMMU这类老榜单对最新旗舰模型的区分度已经明显下降,"一个多模态总分"本来就不成立,空间感知、幻觉测试这些单项才是真实分界线。知乎知乎

道理也不复杂:语言模型读的是人类用语言压缩过的"世界经验",它擅长谈论世界,不擅长运行世界。小红书

好消息:AI开始直接造世界了。

10月28日,谷歌DeepMind发布Genie 4——不是生成一段视频,而是生成一个你能走进去的世界:输入一句话实时生成可探索环境,继续输入指令场景实时变化,还原生支持音频。生成速度做到了每秒24帧实时生成、单帧延迟低至40毫秒、还能保持长达2分钟的连贯记忆。你能用键盘控制导航和镜头,用文字实时改天气、加角色、换剧情。这轮预览目前只面向少量受信任的测试者开放。当然它也露馅:物体恒存性和长期一致性还是会在复杂事件里出问题。知乎知乎36氪36氪知乎

从读图到造世界,这周的多模态AI玩太大了

另一边,李飞飞团队发布多模态世界模型Atlas,她给世界模型的定义很直接:语言赋予机器谈论世界的方式,世界模型将成为机器理解、想象、推理,并与世界交互的方式。演示也直观:喂进几段不同机位拍的视频,它能补出没拍过的视角。更大的背景是9月底AMD宣布以约82亿美元全股票收购Atlas背后的World Labs——资本已经用真金白银投票。知乎知乎知乎

从读图到造世界,这周的多模态AI玩太大了

开源侧同样没闲着。

本周,Mistral开源了1T参数MoE多模态模型权重,Large 4(Le Chonk)登陆HuggingFace,总参数约1万亿、激活仅49B、上下文1M token。就算你的显卡跑不动,开源权重也意味着企业选型和折腾党的选项又多了,评测、微调、私有化部署都绕不开它。知乎知乎

从读图到造世界,这周的多模态AI玩太大了

所以,这跟你有什么关系?

担心"多模态凉了"的同学可以先把心放回肚子里:它不是退潮,是从"给语言模型装眼睛"升级成了"通往物理世界的入口",世界模型成了新一轮主战场,追这条线的人还谈不上晚。对普通用户,使用建议反而更实在:今天让AI看图判断空间关系、生成"东西不能穿模"的视频,它依然会翻车,别指望百分百对;下次看发布会也别只看总分——"交互与物理一致性"这条新赛道,才是接下来的分水岭。

AI已经学会谈论世界,想真正住进世界,还差一节物理课。

内容由AI生成

精选参考来源

1. 现在多模态已经不吃香了吗#热搜ai创作激励大赛#

2. 2026 多模态评测全景图:最新模型到底在比什么?

3. 多模态大模型在物理评测中集体折戟,背后的技术瓶颈是什么?

4. 做多模的兄弟还好吗

5. 谷歌Genie 4问世

6. 连拿四个第一,力压Genie 4和Atlas!中国团队造出真物理世界模型

7. 刚刚,谷歌重磅发布Genie 4:这才是真正的「世界模型」

8. 刚刚,谷歌世界模型Genie 4实测,30秒生成游戏,24帧实时交互、边玩边改

9. Genie 4 给世界模型配了个导演,为什么还会露馅?

10. 如何看待李飞飞团队发布的多模态世界模型 Atlas?有哪些值得关注的亮点?

11. 李飞飞谈Atlas AI开始学习换一个位置看世界

12. 从大模型到世界模型:李飞飞和杨立昆的和而不同?

13. AI日报_1030| Mistral开源1T参数MoE多模态模型,Figure四代机器人设计定型

14. AI 日报|10月30日:1T 参数 MoE 多模态开源模型 Le Chonk 登陆 Hugging Face

15. 海外开源模型重新提速:Mistral、“美版DeepSeek”同时亮牌

16. Mistral万亿参数模型开源、加拿大入股Cohere(2026年10月30日 19时更新)

17. Atlas用3D重建开路,世界模型进入可测量的新阶段

18. 李飞飞发布Atlas,世界模型进入新时代

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章