在最新的研究中，由卡内基梅隆大学的研究团队开发，提出了一种名为H2O（Human to Humanoid）的框架，通过强化学习实现了人对人形机器人的实时全身遥控操作。

该框架在仅使用RGB摄像头的条件下，成功地让人形机器人模仿并实时执行各种动态的全身运动，包括行走、后空翻、踢球、转身、挥手、推动、拳击等。

为了实现这一突破性的技术，研究团队提出了一种可扩展的“从模拟到实际”的处理过程，以构建大规模的人类运动数据集，为人形机器人提供实时遥操作的训练样本。在处理过程中，通过特权模仿者筛选和选择可行的动作，优化了人形机器人的身体模型，确保其对人类运动的高度还原性。

框架的核心包括三个关键阶段:首先，通过优化形状和运动参数，将SMPL（Skinned Multi-Person Linear model）身体模型与人形机器人的结构对齐，形成基础的运动数据集。其次，通过训练一个特权模仿策略，去除运动数据集中的异常和不可行的动作，生成更加真实和清晰的运动数据集。最后，通过在模拟环境中训练一个实时模仿策略，实现对人形机器人的零次试验遥操作。

实时遥操作的过程涉及使用RGB摄像头和姿势估计器捕捉人类运动，然后通过训练有素的模仿策略，使人形机器人能够即时模仿并执行这些运动。

这项研究不仅成功实现了全身运动的学习式实时遥操作，还展示了在真实世界情境中的应用，如左右踢球、递盒子、前行后跳、拳击等。据了解，这是首次在人形机器人领域实现了这一技术上的突破，为全新的人机交互和协作场景提供了有力的支持。

项目入口：https://human2humanoid.com/