张大妈

高德飞行街景:世界模型重构实景导航

源自公众号:GISERSAY

01-18 16:53

高德地图发布的“飞行街景”功能,因其背后使用的世界模型生成技术引发了广泛关注。它试图通过AI生成的方式来重构实景导航,这不同于以往的3D重建技术。其核心价值在于探索如何在保证地理真实性的前提下,利用生成模型创造出连续、丝滑的视觉体验,为未来的数字地图形态提供了新的可能性。

高德飞行街景:世界模型重构实景导航智能速览

  • 高德发布“飞行街景”,由新一代世界模型FantasyWorld驱动。

  • 该功能通过参考图和相机轨迹生成视频,实现从室外到室内的连续飞行。

  • 技术核心挑战在于保证地理真实性与场景连续性,当前或可见拼接痕迹。

  • 与Google Maps类似功能相比,高德面临航拍数据积累不足的挑战。

  • FantasyWorld模型通过几何一致性约束,有效统一了视频生成与3D预测。

  • 模型具备输出3D点云的潜力,未来或可支持更丰富的空间交互体验。

高德飞行街景:世界模型重构实景导航精华内容

从依赖真实数据的3D重建,到由AI“想象”生成的世界模型,高德的“飞行街景”标志着技术路径的一次关键转变。它试图在真实与虚拟之间找到新的平衡点,但这条路上既有突破也伴随着疑问。

技术路径的转变

高德“飞行街景”最引人注目的,是其采用了世界模型进行生成,而非行业惯用的NeRF或3DGS等3D重建技术。传统的3D重建基于真实拍摄数据,物理真实性有保障,但数据采集成本高昂且室外室内场景难以无缝衔接。

世界模型则通过参考图和提示词“想象”出场景,虽然自由度高,但如何保证地理信息的“真实”而非“虚构”,成为了首要挑战。

从观察到的视频效果看,从室外飞入室内的过程非常连贯,解决了传统重建中“两张皮”的问题,但这种连续性的实现方式仍有待深入探究。

连续性与真实性观察

仔细审视官方演示视频,虽然整体飞行效果流畅,但在室外到室内的过渡部分,偶尔能察觉到一些不自然的拼接效果。这引发了一种推测:室外和室内场景可能仍然是分开生成,再通过技术手段进行后期融合。

这种“分开生成再拼接”的策略,或许是当前技术在保证各部分高质量的同时,实现整体连续性的一个折中方案。它既能利用世界模型生成丰富细节,又能分别控制不同环境的生成逻辑,但离完全浑然一体的体验还有一步之遥。

FantasyWorld的核心解法

为解决生成内容的真实感问题,高德背后的世界模型FantasyWorld提出了“几何一致性”的解决方案。该模型巧妙地融合了视频生成与3D预测两个分支,并通过一个双向交叉注意力机制让它们实时对齐。

具体来说,几何分支会计算出一个3D空间布局,并强制视频分支的生成内容必须符合这个布局。例如,如果几何判断此处为一面墙,视频生成就不能在这里画出通透的远景。反之,视频生成的语义细节也能帮助几何分支优化3D形状,尤其是在处理遮挡区域时。这种相互约束,是确保生成内容“看起来像那么回事”的关键。

数据挑战与未来展望

与拥有海量航拍数据的Google Maps不同,高德在推广此类功能时,面临着一个现实问题:如何获取高质量的室外航拍数据源?是自行组织拍摄,还是与测绘机构或商业图商合作,这将直接影响其覆盖范围和更新效率。

不过,FantasyWorld模型的潜力不止于视频。根据其论文,模型还能输出深度图和3D点云。这意味着,当前以视频形式展现的“飞行街景”,在未来完全有可能升级为可自由探索的3D空间,类似3DGS的效果。这种能力不仅对C端用户更有吸引力,也为B端的具身智能、数字孪生等应用打开了想象空间。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章