当前位置:
AIGC文章详情

李飞飞家的 Marble,一种可扩展的 3D 世界模型架构设计

源自公众号:清熙

02-01 19:09

World Labs发布的Marble世界模型引发行业热议。这项技术突破传统NeRF限制,通过张量基元实现可扩展、可编辑的3D世界建模,支持多模态输入生成可交互的3D场景,为构建通用人工智能提供了空间智能新路径。

李飞飞家的 Marble,一种可扩展的 3D 世界模型架构设计

李飞飞家的 Marble,一种可扩展的 3D 世界模型架构设计智能速览

  • Marble支持文本、图片、视频等多模态输入生成3D世界

  • 突破NeRF限制,采用张量基元实现可扩展训练

  • 结合切块、区域注意力和缓存解决工程瓶颈

  • 具备物理一致性约束,避免视觉欺骗

  • 将LLM核心机制扩展到三维空间

李飞飞家的 Marble,一种可扩展的 3D 世界模型架构设计精华内容

Marble的技术创新在于将三维世界建模从全局连续场转向局部结构化表征,为构建真正可扩展的世界模型提供了新思路。

超越NeRF

传统NeRF通过多层感知机拟合整个场景的连续辐射场,渲染一个像素需要大量积分步骤,在大规模场景中无法扩展。每个新场景都需要独立训练,无法继承知识。二维扩散模型虽然图像生成能力强,但缺乏三维一致性,不同角度会产生几何错位。

Marble必须采用具有局部化特征的表征方法,如三维高斯基元、张量场、稀疏场等,解决这些根本性问题。

张量基元核心

Marble的基础表征很可能是扩展版的三维高斯基元,每个基元不仅包含几何信息,还承载高维张量,记录局部几何、材质、纹理、光照甚至物理属性。整个世界由一组高维张量基元组成,构造可微、可更新的三维场。

这种结构具备可压缩性、可本地编辑、可组合和可扩展的优势,是天然适合构建世界模型的表征方法。

物理一致性

Marble与有限元方法有惊人共通之处,基元相当于有限元单元,张量相当于局部状态变量。基元之间通过区域注意力建立耦合,实现局部求解加边界耦合。

这种结构赋予世界模型隐性物理约束,即便不显式求解物理方程,也能保持几何连续性和光照合理性,避免看起来很对但用起来很错的问题。

李飞飞家的 Marble,一种可扩展的 3D 世界模型架构设计

可扩展训练

当基元数量从万级增加到百万级时,直接全局训练会导致显存爆炸。解决方案是结合切块、区域注意力与缓存。

切块将三维世界分割成空间分块,训练只优化当前chunk中的基元;区域注意力保持chunk边界一致性;缓存机制类似LLM的KV cache,存储不参与本次训练的chunk参数,节省计算资源。

李飞飞家的 Marble,一种可扩展的 3D 世界模型架构设计

LLM机制延伸

Marble的实现路径继承LLM三大核心:token、注意力和KV cache,只是扩展到三维空间。张量基元相当于三维token,区域注意力是三维版注意力,切块如同滑动窗口,三维缓存是空间KV cache。

这种思路有潜力推动世界模型工程落地,因为LLM已证明这些机制在大规模训练中的可行性。推理流程也类似LLM,从文本解析到生成布局,再到局部优化和最终渲染。

时间维度缺失

当前Marble还缺乏最重要的时间维度。真正的世界模型需要在时间维度研究状态空间的变迁,通过潜变量、时空碎片或高斯张量基元的动力学构成整体动态性。

未来需要发展更物理化的张量基元、引入边界耦合的PDE约束、构建可扩展的世界记忆库,并进一步融合LLM,使世界理解和生成一体化。

Marble代表了世界模型发展的重要方向,将LLM成功机制扩展到三维空间。虽然技术挑战依然存在,特别是时间维度的集成,但这种局部化、结构化的表征思路为构建真正可扩展的世界模型提供了可行路径。未来能否突破时间瓶颈,将决定其能否实现真正的通用智能。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章