K100的3D运镜:一张正面照,怎么让镜头绕到背后

源自289位全网作者

04:33

11月4日小米技术称,REDMI K100上线WorldCast 3D运镜。K100在10月27日发布,8天后3D运镜上线。用户在相册选一张静态照片,AI生成环绕、推拉、倾斜的大角度运镜视频。新浪财经

难的从来不是让照片动

一张正面照只记录一个视角。镜头绕到侧面或背后,画面里马上出现原图没拍到的区域:后脑勺、衣领内侧、被身体挡住的背景。模型只能补。补不好,就是脸变形、衣服换款、背景线条扭曲。

论文的评测把两件事分开:相机有没有沿指定轨迹走,人物转过去后还是不是同一个人。两个都成立,视频才像拍出来的,而不是P出来的。

点云给路线,记忆补背面

WorldCast先用深度估计把首帧反投影成彩色3D点云,再把点云尺度和目标相机轨迹对齐。

沿轨迹渲染,得到引导图和覆盖掩码。 掩码告诉模型,哪些区域在原图里根本没拍到,不能把正面的纹理硬拉过去冒充侧后方。arXiv

背面靠多视角锚点补。论文把正面、侧面、背面的角色外观放进同一坐标系,用几何对齐记忆注意力(GAMA)按当前视角检索特征。 镜头转到背后,就多参考背面的锚点。小红书

数据是CLACT:8万条训练样本,5万条UE5、3万条Blender;评测42个场景,每个场景6种轨迹。

13个方法对比,WorldCast的轨迹误差ATE为0.065,次优Uni3C为0.098;身份相似度相比次优方法提升约28%。快科技

论文由武汉大学和小米MiLM Plus合作完成,10月23日公开。12天后,功能进了K100的相册。

手机只给一张照片,锚点从哪来

论文的输入是首帧加多视角锚点。 K100只让用户选一张照片。官方说GAMA用多视角锚点图补背面,但公开介绍里没有说明这些锚点在手机上从哪来:云端先生成,还是用单帧做近似。WorldCast项目页

论文的底座是14B的Wan2.1-I2V。手机端用哪一版、在端侧还是云端推理,公开信息里也没有说明。这些细节决定的不是能不能生成,而是侧脸、遮挡、复杂背景下还能不能稳定。

K100的AI影像里,一键动图、希区柯克变焦、延时摄影早已具备。3D运镜是其中更复杂的一项。

它也不是第一次出现

今年4月,华为Pura 90系列首发了3D动态照片,能把一张动态照片一键生成3D运镜效果。 K100的不同在于输入缩到一张静态照片,并把大角度和人物身份保持当成主要卖点。上游新闻

动态照片自带一段连续画面,信息起点不同。静态照片只记录一个瞬间,补全更难。

对普通用户,最直观的用处是旧照片和单人肖像。但演示片段只能证明能做到,不能证明每次都行。

真正值得看的是实测:侧脸占一半、头发挡住半张脸、背景有栏杆和直线、画面里有两个人。这些场景里轨迹还准不准,人还像不像。

论文的局限也很明确:仍依赖额外的多视角人物锚点。更灵活地获取参考、处理复杂动态场景和更长的交互式镜头,被列为后续方向。小红书

3D运镜先是一个相册里的新按钮。它能不能从demo好看变成随手可用,要看第一批真实照片生成的结果。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章