如何让机器人准确理解并执行随意的口语指令？Humanoid-LLA框架提出了一种新思路，通过构建统一运动词汇表，将自然语言直接映射到人形机器人动作，实现了端到端的文本控制。这项技术不仅提升了语义理解能力，还保证了动作的物理可行性，为人形机器人的交互应用提供了重要参考。
智能速览
提出Humanoid-LLA框架，实现自然语言直接映射人形机器人动作。
构建跨模态统一运动词汇表，连接人类运动数据与机器人控制。
设计两阶段微调框架，结合语义理解与物理推理。
实测物理可行性成功率达87.6%，动作生成质量优于基线。
支持开放词汇指令，能执行“像僵尸一样行走”等复杂任务。
精华内容
传统方法难以平衡语言理解与物理动作的自然性，新框架通过统一运动词汇表与两阶段微调，有效解决了这一难题。
统一运动词汇表
框架首先从大规模人类运动数据集出发，通过重定向技术将动作迁移至人形模型，并过滤物理上不可行的片段。利用跨模态VQ-VAE分词技术，将人类和人形运动的潜在表征量化到共享的码本中，形成统一运动词汇表。这种设计确保了码本中的每个token都对应着跨具身一致的语义技能，如行走或奔跑，从而为语言理解和机器人控制建立共享的潜在空间。
动作蒸馏与微调
在训练策略上，先在Isaac Lab中训练模仿密集参考轨迹的跟踪控制器，随后将此行为蒸馏到仅依赖运动token的词汇表控制器中。最后，对大语言模型进行微调，使其在生成动作链式思维后将文本指令分解为可解释的运动步骤，再输出对应的运动token序列。这种两阶段微调结合了语义理解与物理推理，通过来自人形机器人的反馈强化学习，确保了指令的准确执行。
实测性能表现
评估数据显示，该方法在文本到人形运动生成上取得了最低的FID和最高的R-Precision，同时保持了良好的多样性。在物理可行性方面，模型达到了87.6%的任务成功率，并在速度和加速度误差上表现优异。与LangWBC等基线相比，Humanoid-LLA生成的动作更长、更连贯，能够准确执行“像僵尸一样行走”或“像交警一样指挥交通”等复杂指令，且在真实机器人上表现出良好的Sim2Real迁移能力。
Humanoid-LLA通过统一运动词汇表与大语言模型的结合，成功打破了自然语言与机器人动作之间的壁垒。这不仅实现了更灵活的人机交互，也为具身智能的落地提供了强有力的技术支撑。未来，随着技术的进一步迭代，人形机器人或将能胜任更多复杂的现实任务。
