透明和强反射物体一直是机器人视觉感知的“老大难”问题。智源研究院与清华AIR联合提出的DKT模型，通过巧妙利用视频生成模型的物理先验，首次实现了对这类物体的稳定、高精度视频深度估计，在机器人抓取任务上带来了质的提升，为具身智能的发展扫清了关键障碍。
智能速览
DKT是首个专为透明/强反射物体设计的视频深度/法向估计基础模型。
研究团队构建了首个透明物体视频数据集TransPhy3D，包含132万帧数据。
创新性地将视频生成模型重用为基础模型，利用其内化的光传输物理规律。
采用LoRA和协同训练策略，高效整合单帧图像与视频数据进行训练。
在多个公开数据集和机器人真机实验中，性能均全面超越现有最先进方法。
DKT-1.3B模型在832×480分辨率下单帧处理速度达167.48ms，兼具精度与效率。
精华内容
透明物体的感知难题长期困扰着机器人领域，其折射与反射特性导致传统深度相机失效。DKT模型的提出，通过一种范式转变，将深度估计转化为视频生成问题，为这一难题提供了全新的解决思路，并在机器人抓取任务中展现出质的飞跃。
难题的根源
传统视觉感知方法，如立体视觉、ToF或单目深度估计，都依赖于一些基本物理假设。然而，透明和强反射物体表面的折射、反射与透射效应，恰好破坏了这些假设。这导致深度图中出现大量空洞，并在连续帧之间表现出明显的不稳定性。对于依赖精确三维信息进行操作的机器人来说，这种不可靠的感知输入会严重影响下游任务的性能，甚至导致任务失败。
范式的转变
DKT的核心洞见在于，先进的视频生成模型（如WAN-2.1）在生成与透明物体交互的视频时，似乎已经隐式地学习并内化了光传输的物理规律。研究团队因此提出，可以将视频深度估计任务，从传统的“判别式回归”转变为“视频到视频的条件生成”问题。即，给定一段RGB视频，让模型生成对应的深度或法向视频。
数据与模型的协同
为支撑这一新范式，团队构建了首个面向透明物体的视频合成数据集TransPhy3D。该数据集包含11,000段视频，总计约132万帧，涵盖了多样化的物体、光照条件和相机运动轨迹。同时，为了高效利用视频生成模型的先验知识，研究采用LoRA（低秩适应）训练策略，仅微调少量参数，避免灾难性遗忘。此外，还设计了协同训练策略，让模型能同时在新的视频数据集和现有的单帧图像数据集上进行学习，显著提升了泛化能力。
全方位性能验证
在ClearPose、DREDS等多个公开数据集上的测试表明，DKT在深度和法向估计的精度上均显著超越了DepthAnythingV2、DepthCrafter等现有顶尖方法。更重要的是，在真实机器人平台的抓取实验中，无论是反射平面、半透明平面还是漫反射平面上的透明物体，DKT都实现了最高的抓取成功率。这证明了其在真实世界中的有效性和鲁棒性。
精度与效率的平衡
对于具身智能应用而言，算法的运行效率至关重要。测试数据显示，拥有13亿参数的DKT-1.3B模型，在832×480分辨率下，单帧深度预测速度可达167.48毫秒，显著优于同类方法。研究表明，通过采用5个去噪步数，模型能在预测精度和细节保留之间取得最佳平衡，实现了高性能与高效率的统一，为实际部署铺平了道路。
DKT模型不仅是一项技术突破，更是一种方法论上的创新，它成功地将生成式AI的强大先验知识迁移到具身智能的感知任务中。这项工作为机器人在更复杂、更真实的非结构化环境中与物理世界交互提供了坚实的感知基础，预示着未来机器人将能更自如地处理日常生活中的透明物体。
