李飞飞团队把AI生成世界装进“掌机”:打开浏览器,15帧实时漫游

源自37位全网作者

00:12

当地时间11月5日,李飞飞创办的WorldLabs推出研究预览DemoFrameboy,把其自回归世界模型Atlas推向实时交互阶段,"AI教母"的空间智能团队从此让网友在浏览器里走进AI生成的世界。这台"掌机"外形做成复古GameBoy,点开其实是个网页,里面装着由Atlas实时生成的三维空间:打开浏览器就能像打游戏一样走动、转动视角,画面由云端GPU流媒体传输,每秒最高15帧。实测下来,模型响应已接近云游戏手感。科创板日报IT之家机器之心

这台"掌机"真正改写的,是世界模型的动词。此前用Atlas生成一个新机位,需要按下生成按钮、盯着进度条等上几十秒甚至几分钟;而在Frameboy里,“等待渲染"变成了"边走边生成”——视野转到哪里,画面就实时补到哪里,试错成本几乎归零。

把"生成"塞进交互的那一步,靠什么做到

要看懂Frameboy,得先回到今年9月1日发布的Atlas:李飞飞创立的WorldLabs正式发布Atlas,这是一个从头开始预训练的通用世界模型,能够处理文字、图像、视频和三维空间信息。它支持像素级精度的相机控制,每帧同时生成颜色和深度信息;喂一张静态图,它能"脑补"出周边场景,喂同一地点的多张照片,则能重建出照片之间乃至照片之外的新视角。机器之心

能力有了,慢却是现实问题。官方团队发现生成速度是影响交互体验的核心瓶颈:等待时间一长,创作者搭场景、规划运镜就得小心翼翼,每次按生成键都像开盲盒。为此,团队对Atlas进行了深度推理优化,并推出搭载这一优化版模型的实时交互Demo Frameboy,复古掌机式的设计也让人很容易联想到经典的GameBoy。智东西按15FPS折算,这意味着每隔约67毫秒就能获得一帧新画面。APPSO

这套思路并非凭空出现。去年World Labs推出过高效轻量的帧生成模型RTFM的研究预览版,Atlas正是借鉴了RTFM的思路并在此基础上做了拓展。区别在于,RTFM主要在一组已有视角之间做插值过渡,而Atlas可以只凭一张图或一段文字从零生成场景,模型规模和训练数据量都高出好几个数量级。智东西

现在打开网页能玩到什么,想自己造世界还差一步

Frameboy目前提供精选场景供用户探索,包括各种真实世界中的风景、赛博朋克空间以及斯坦福大学的校园等。有的场景从一张图出发让模型逐步"补全"出可探索环境,有的则由多张实景照片重建而来,相当于在浏览器里做一场实景漫游。机器之心

想从"逛官方场景"进到"造自己的世界",路径是World Labs的网页应用Viewfinder:官方已把Frameboy以流式叠加渲染模式集成进去,用户可以先用Atlas逐帧构建场景,然后在实时中探索和扩展虚拟的世界。不过这一步暂时还不能马上轮到每个人——Viewfinder目前处于封闭测试阶段,需要先在World Labs加入等候名单。机器之心

15帧的另一面:帧率还追不平,账单也还没解决

放在同行标尺下看,实时化竞赛还没有分出胜负。与之对比,谷歌DeepMind在2025年8月发布的世界模型Genie 3可以在720p下实现24FPS实时交互,但Atlas的画面分辨率最高可达到1440p。需要说明的是,1440p是Atlas视频生成模式的分辨率上限,并非Frameboy实时串流的口径,官方未披露实时模式下的输出分辨率——世界模型的实时化,本质上仍是帧率、分辨率和三维一致性之间的三角权衡,不能简单加总成"谁全面领先"。智东西

另一个没有解决的问题是成本。目前Frameboy还需要依托云端高性能GPU服务器运行,成本高于本地渲染方案。一个可以随时"现算"出一个世界的服务,想要普及到海量用户,卡点已经不在算法演示,而在算力和账单。智东西

这也正是这笔生意的背景板。今年9月底,AMD宣布斥资82亿美元(约合人民币550亿元)全股票收购WorldLabs。交易完成后,李飞飞将出任AMD首席科学家。Frameboy对极致推理速度的渴求,恰好呼应了芯片公司的收购逻辑:世界模型的下一步优化要深入芯片、算子和软件栈,贴身有硬件厂商配合,比什么都方便。APPSO每日经济新闻

它还不是产品,但指向了一个明确的方向

按官方口径,Frameboy的身份仍是研究预览Demo,任务是证明世界模型可以充当实时交互的生成式渲染器。至于开放用户创作内容的规则、并发容量、何时变成正式产品,官方均未披露。值得继续盯的信号有两个:一是实时帧率和延迟能否从云端下沉到普通设备,二是Viewfinder的等候名单何时放开。如果这两步走通,电影勘景、空间概念设计、游戏关卡构思这类"先逛一遍再动手"的工作流,才会真正迎来生成式3D的实时时代。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章