11月4日,小米技术介绍了10月27日发布的REDMI K100的新功能“3D运镜”。 用户在相册里选一张静态照片,AI就能生成一段大角度运镜视频,支持环绕、推拉、倾斜,人物的五官、发型、服饰保持不变。IT之家微博
这听起来像“照片动起来”的升级版,其实不是一回事。
普通AI动图常见两类。一类只让画面局部动:眨眼、头发飘、云流动,动作一大,整张脸就得重画。另一类先给照片估一张深度图,把前后景错开,做出轻微视差,工具宣传的卖点是“真实深度和视差效果”。哔哩哔哩
两类做法都还没有真正的三维场景。它们能回答“下一帧怎么变”,却回答不了“镜头绕到侧面,那里该是什么”。一位作者让AI给老照片加“转头”动作,结果十张里有八张不像同一个人。 原图里没有侧脸,模型只能硬编;动作越大,越容易崩。知乎
背后的WorldCast换了一个问题。它先用深度估计把照片反投影成三维点云:每个像素按远近“立”起来,变成一团带颜色的点。深度图只知道相对远近,不知道真实尺度,所以还要把点云和相机轨迹的尺度对齐。知乎
模型沿目标相机轨迹渲染出每一帧的几何引导图和覆盖掩码。引导图给出该视角下场景的大致样子;掩码标出原点云覆盖不到、要模型补的区域。知乎
点云只记录照片看得见的那一面。镜头绕到背后,背面仍是空的。论文的办法是引入多视角角色锚点,用几何对齐记忆注意力(GAMA)在生成时按当前视角检索锚点里的外观。知乎
这不是猜得更准,而是把额外视角的信息补进去。消融实验里,去掉GAMA,轨迹误差ATE从0.065升到0.100,人脸相似度从0.555降到0.370。知乎
手机版的关键差异也在这。论文版除了参考图和轨迹,还要1—4张任意视角锚点图。 手机版只让用户选一张照片,功能介绍里说,它会解析图片深度信息,把平面照片重建为三维场景,虚拟生成真实相机拍摄轨迹。AI工具集微博
论文自己也提醒,WorldCast用了额外的多视角锚点,和只用单张图的方法比较时,要看输入信息的差异。 看见“单图绕到背后也不变脸”的演示,最好理解为端上模型补得更稳,而不是它真的掌握了照片背面。知乎
差别其实就一句话:普通AI动图让画面里的像素动,WorldCast让一台虚拟相机在重建出的场景里动。前者适合几秒钟的小情绪,后者才谈得上“运镜”。手机版支持环绕、推拉、倾斜;官方把更复杂运镜、更长连续生成和可控4D列为下一步。 判断“是不是3D”,标准不该只是有没有环绕效果,而是镜头运动有没有一个可计算的场景作为依据。微博