真人“复刻工厂”?数字人到底怎么被造出来的!|MARS实验室大探秘

源自UP主:返朴科普

03-02 13:43

走进上海科技大学MARS实验室,揭开数字人诞生的神秘面纱。从高精度扫描到表情驱动,这里展示了将真人数字化身的完整技术链路,为未来影视和人机交互提供了无限可能。

真人“复刻工厂”?数字人到底怎么被造出来的!|MARS实验室大探秘智能速览

  • 穹顶光场通过24个相机和三四十种光源,0.1秒内完成面部材质与几何信息采集。

  • 数字人制造需经扫描、清理、绑定、动画驱动、渲染等完整步骤。

  • 面部需点数十个标记点,精准捕捉肌肉运动极限,确保数字表情真实自然。

  • 该技术不仅能驱动虚拟人,还能实时控制索菲亚等实体机器人,实现人机交互。

  • MARS实验室未来将聚焦光场智能,为人机协同与机器智能发展提供核心数据支持。

真人“复刻工厂”?数字人到底怎么被造出来的!|MARS实验室大探秘精华内容

从科幻构想走进现实,数字人如何一步步被创造出来?其背后是光、算法与硬件的精密协作。

光场扫描核心技术

MARS实验室的穹顶光场是其核心技术。该系统并非单纯依赖海量相机,而是创新性地结合了24个工业相机与3个材质相机。真正的关键在于灯光系统:在扫描的0.1秒内,会有三四十种不同光线照射面部,通过捕捉光与皮肤的互动,反向推算出高精度的表面材质与几何信息,从而在降低相机数量的同时,显著提升了数字人模型的质量。

从真人到数字分身

数字人的诞生始于精密的扫描流程。体验者需在面部点上数十个标记点,这些点精确对应各个肌肉群,用于捕捉面部运动的极限状态。随后,在光场中拍摄约28张夸张表情的照片。

数据处理阶段则进入传统的影视DCC工作流,进行模型清理、组件组装(如眼睛、牙齿)、骨骼绑定,最后完成动画驱动与渲染,最终合成到影视作品中。目前,随着生成式AI发展,仅用一张照片也能推算出基础模型。

驱动虚拟与实体

这项技术的应用不止于虚拟世界。在MARS实验室,通过增强现实组件,可以实时捕捉人的面部表情参数,并将其映射到实体机器人的执行器上。例如,拥有33个自由度电机、皮肤质感接近真人的索菲亚机器人,就能据此模拟出极为逼真的面部表情。这展示了从驱动数字分身到与实体机器人进行情感交互的跨越。

MARS的未来构想

MARS实验室(Multidisciplinary, AI, Reality, Robotics, Studio)定位为一个工作室式的科研团队,未来将聚焦于光场智能与人机协同的深度融合。其研究方向主要包括:搭建更多适用于人机交互场景的光场设备;实现这些场景下的精准捕捉、三维重建与内容生成;并利用光场采集的高维数据,为机器智能的发展提供核心支持,推动人机协同进入新阶段。

从复刻人类外貌到驱动机器人情感,MARS实验室的探索正模糊着虚拟与现实的边界。光场智能技术采集的高维数据,或将成为解锁下一代人机协同的关键钥匙,未来的形态值得期待。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章
相关兴趣推荐