这项研究突破了传统灵巧手依赖纯视觉的局限，首次将触觉信号与自然语言指令深度耦合，构建出具备物理约束意识的动作生成框架。实测数据显示其在真实场景中显著提升抓取可靠性，为具身智能落地提供了可验证的技术路径。
智能速览
提出「接触推理链」，触觉-语言-动作三元联合建模，抓取成功率提升21.7%
动态接触预测架构在DexGYS基准达67.14%成功率，刷新SOTA
基于MuJoCo合成9072万组触觉-视觉配对数据，大幅降低硬件采集门槛
频域触觉编码+PartField视觉特征对齐+Qwen2.5语言理解，实现多模态潜空间统一
「接触丢弃」正则化增强模型对噪声触觉信号的鲁棒性
支持自然语言局部指令（如‘拇指按压开关’），工业分拣指令遵从率达91.3%
精华内容
当灵巧手不再仅靠‘看见’物体，而是能‘感受’纹理、‘理解’指令、并据此推演指尖该何时施力、何处接触，操控就从机械执行转向具身认知。
三元融合机制
框架摒弃单模态主导思路，将压力分布、表面纹理等触觉信号与自然语言任务描述联合编码，生成符合刚体接触物理规律的抓取序列。在YCB-Video测试集上，相比纯视觉基线方法，平均抓取成功率从45.3%提升至67.0%，绝对提升21.7个百分点，且失败案例中83%源于接触点滑移而非定位偏差。
动态接触预测
模型采用三阶段自回归解码：首步定位手指与物体的初始接触区域（平均误差±1.2mm），次步预测各接触点法向力分布与切向滑动风险（阈值设为0.8N·s⁻¹），最终输出6自由度抓取参数。在DexGYS基准中，该流程达成67.14%的成功率，较前代最佳方法高出5.2个百分点。
低成本数据构建
研究团队构建MuJoCo驱动的仿真标注管道，通过精确建模材料弹性模量（1–5MPa）、摩擦系数（0.2–1.1）与传感器采样频率（1kHz），自动生成9072万组带像素级接触掩码的触觉-视觉配对样本。相较需部署256通道BioTac传感器阵列的传统采集方案（单套成本超120万元），该方法将高质量触觉数据获取门槛降至可复现的开源仿真环境。
多模态对齐设计
触觉编码模块采用FFT频谱分析叠加小波包分解，提取0.5–20Hz压力波动特征；视觉编码使用PartField网络提取物体部件级几何拓扑，与触觉特征在384维潜空间完成L2距离对齐（平均相似度0.79）；语言指令经Qwen2.5-0.5B微调后生成接触约束向量，三者加权融合后输入动作解码器。跨模态对齐阶段使触觉-语言语义匹配准确率提升至89.6%。
鲁棒训练策略
训练分为三阶段：第一阶段用全部仿真数据预训练触觉表征；第二阶段以对比学习对齐触觉-视觉-语言三模态嵌入；第三阶段仅用4.7%真实机器人采集数据微调。引入「接触丢弃」正则化——随机屏蔽15%触觉通道输入，使模型在10%传感器失效条件下仍保持61.3%抓取成功率，较未使用该策略的对照组高9.8个百分点。
自然语言接口
用户可输入局部操作指令，例如‘食指轻触瓶盖边缘，中指同步下压’，系统自动补全其余手指姿态与力控参数。在模拟电子元件分拣任务中，模型对含空间关系、力度修饰、时序逻辑的复合指令遵从率达91.3%，错误主要集中于多物体遮挡场景下的视觉歧义（占比64%）。
这项工作不是单纯提升某个指标，而是重新定义了灵巧手的感知-决策闭环：触觉不再是辅助反馈，而是与语言、视觉同等权重的决策依据。它指向一个更务实的方向——让机器人真正‘懂’接触。未来若能在真实硬件延迟与传感器噪声下维持70%以上成功率，工业柔性装配或将成为首个规模化落地场景。下一个关键问题或许是：如何让这种推理能力迁移到更复杂的非结构化环境中？
