张大妈

🚀一张图瞬间开启20秒实时探索世界

源自小红薯:代码熊大模型论文分享

02-06 22:53

交互式世界模型一直面临实时生成与长记忆难以兼顾的瓶颈。RELIC团队提出创新方案,利用自回归视频扩散蒸馏技术,成功突破这一限制,实现了既拥有长期空间记忆又能保持实时响应的交互体验,为智能体探索虚拟环境开辟了新路径。

🚀一张图瞬间开启20秒实时探索世界智能速览

  • 突破实时生成与长期记忆的“不可能三角”

  • 引入压缩历史潜在令牌技术优化KV缓存

  • 实现最高20秒、16 FPS的实时视频生成

  • 在泛化能力与记忆检索上获最高评级

🚀一张图瞬间开启20秒实时探索世界精华内容

现有技术难以兼顾实时响应与空间记忆,RELIC通过创新的压缩机制与自强制范式,让这一矛盾迎刃而解。

技术瓶颈

现有的视频生成模型往往陷入两难:要么为了追求实时速度而牺牲对历史的记忆,要么为了保持长序列一致性而像播放幻灯片一样卡顿。这种局限性导致模型在换环境时容易“失忆”,严重阻碍了自动驾驶和空间智能的实际落地。解决实时长序列生成与一致空间记忆的矛盾,成为行业急需攻克的难题。

核心创新

RELIC团队构建了14B参数的统一框架,核心在于“压缩历史潜在令牌”技术。通过将过去生成的内容高度压缩,并与相对动作和绝对相机姿态编码后存入KV缓存,模型实现了隐式的3D一致内容检索。这种设计以最小计算开销,让模型在快速响应的同时保留了强大的空间记忆能力。

优化范式

为了进一步强化性能,团队采用了“内存高效的自强制范式”。这种方法将双向教师视频模型转化为因果学生生成器,支持对长持续时间的教师和学生自展开进行全上下文蒸馏。这一过程相当于让模型学会了既“记得住”又能“算得快”,显著提升了长序列生成的稳定性。

实测表现

实验数据证实了该方案的有效性。在Unreal Engine数据集上训练后,RELIC能以16 FPS的速度实时生成480×832分辨率的视频,时长可达20秒。对比测试显示,该模型在动作跟随准确性和空间记忆检索鲁棒性上表现优异,泛化能力与记忆能力均获最高评级。

RELIC的成功为下一代交互式世界建模奠定了技术基石。这项突破不仅提升了虚拟现实的沉浸感,更为智能机器人的环境理解提供了新思路。随着技术成熟,未来的数字世界探索将更加自由流畅。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐