走进上海科技大学MARS实验室,揭开数字人诞生的神秘面纱。从高精度扫描到表情驱动,这里展示了将真人数字化身的完整技术链路,为未来影视和人机交互提供了无限可能。
智能速览
穹顶光场通过24个相机和三四十种光源,0.1秒内完成面部材质与几何信息采集。
数字人制造需经扫描、清理、绑定、动画驱动、渲染等完整步骤。
面部需点数十个标记点,精准捕捉肌肉运动极限,确保数字表情真实自然。
该技术不仅能驱动虚拟人,还能实时控制索菲亚等实体机器人,实现人机交互。
MARS实验室未来将聚焦光场智能,为人机协同与机器智能发展提供核心数据支持。
精华内容
从科幻构想走进现实,数字人如何一步步被创造出来?其背后是光、算法与硬件的精密协作。
光场扫描核心技术
MARS实验室的穹顶光场是其核心技术。该系统并非单纯依赖海量相机,而是创新性地结合了24个工业相机与3个材质相机。真正的关键在于灯光系统:在扫描的0.1秒内,会有三四十种不同光线照射面部,通过捕捉光与皮肤的互动,反向推算出高精度的表面材质与几何信息,从而在降低相机数量的同时,显著提升了数字人模型的质量。
从真人到数字分身
数字人的诞生始于精密的扫描流程。体验者需在面部点上数十个标记点,这些点精确对应各个肌肉群,用于捕捉面部运动的极限状态。随后,在光场中拍摄约28张夸张表情的照片。
数据处理阶段则进入传统的影视DCC工作流,进行模型清理、组件组装(如眼睛、牙齿)、骨骼绑定,最后完成动画驱动与渲染,最终合成到影视作品中。目前,随着生成式AI发展,仅用一张照片也能推算出基础模型。
驱动虚拟与实体
这项技术的应用不止于虚拟世界。在MARS实验室,通过增强现实组件,可以实时捕捉人的面部表情参数,并将其映射到实体机器人的执行器上。例如,拥有33个自由度电机、皮肤质感接近真人的索菲亚机器人,就能据此模拟出极为逼真的面部表情。这展示了从驱动数字分身到与实体机器人进行情感交互的跨越。
MARS的未来构想
MARS实验室(Multidisciplinary, AI, Reality, Robotics, Studio)定位为一个工作室式的科研团队,未来将聚焦于光场智能与人机协同的深度融合。其研究方向主要包括:搭建更多适用于人机交互场景的光场设备;实现这些场景下的精准捕捉、三维重建与内容生成;并利用光场采集的高维数据,为机器智能的发展提供核心支持,推动人机协同进入新阶段。
从复刻人类外貌到驱动机器人情感,MARS实验室的探索正模糊着虚拟与现实的边界。光场智能技术采集的高维数据,或将成为解锁下一代人机协同的关键钥匙,未来的形态值得期待。