一、物理数据集
1.1遥操作数据
主从臂遥操作( Mobile ALOHA):Mobile ALOHA 是斯坦福大学符博士领导的研究团队开发的一套全开源全身遥操作系统,其在自主设计的带移动底盘的双臂机器人上,通过模仿学习算法与静态 ALOHA 数据共同训练,仅用 50 个示教,双臂机器人就熟练的实现了自主完成复杂的移动操作任务。为提升机器人移动性和灵活性,Mobile ALOHA 通过人类的遥操作示教运动,收集双手和全身控制的动态操作任务数据,最后依托 Mobile ALOHA收集的丰富数据,通过端到端迁移学习来训练和纠正复合机器人的协同进化速度和精细化控制能力,使机器人具备成功克隆人类行为和任务的能力。
VR遥操作:通过将扩展现实技术与机器人控制技术相结合,实现对机器人的远程操作。VR设备通过传感器(如摄像头、深度传感器、陀螺仪等)捕捉操作人员的动作和位置信息,并将这些信息传输给机器人控制系统。机器人控制系统根据接收到的指令和信息,控制机器人执行相应的动作。同时,机器人也会将自身的状态信息(如位置、速度、传感器数据等)反馈给 VR 设备,使操作人员能够实时了解机器人的工作情况。
- 动捕遥操作:通过动捕设备传感器记录的数据,进行关节重映射、末端姿态映射、运动学结算等技术,将人体动作映射到机器人本体上,实现精准的遥操作控制。通过佩戴动捕手套,可以精准地映射手部运动数据,实现对机器人灵巧手的精准控制。
1.2全身人体数据采集(FLD)
基于FLD对数据token化的策略,实现方法为:
1、动捕数据采集:包括光学动捕、惯性动捕、光惯结合动捕等方式
2、映射到机器人本体:将人体数据映射为机器人本体的关节数据,运用IK逆向动力学计算出基于人形机器人的各关节的数据,在此基础上进行仿真验证,验证数据的有效性。
3、数据FLD token化:经过数据预处理、特种提取、模型训练等步骤完成数据处理和应用
1.3 UMI数据采集
斯坦福团队提出通用操作接口(UMI),一种数据收集和策略学习框架,允许将技能从人类演示直接转移到可部署的机器人上的策略。UMI 采用手持式夹具,结合精心的接口设计,可实现便携的、低成本和信息丰富的数据采集,以进行具有挑战性的双手动态操作演示。为了促进可部署的策略学习,UMI 结合了精心设计的策略接口、推理时间延迟匹配和相对轨迹动作表示。由此产生的学习策略与硬件无关,并且可跨多个机器人平台部署。配备这些功能,UMI 框架解锁了新的机器人操纵功能,只需更改每个任务的训练数据,即可实现零样本泛化的动态、可双手操作的、精确的和长视野的行为。研究员通过全面的现实世界的实验展示了 UMI 的多功能性和有效性,其中通过 UMI 零样本学习的策略在对不同的人类演示进行训练时可以推广到新的环境和对象。
1.4 humanplus
HumanPlus 是斯坦福大学 ALOHA 团队开发的一款具身智能人形机器人系统,它通过模仿人类动作来学习并执行复杂任务。这个系统的核心包括两个主要部分:实时影子系统和人形模仿 Transformer。实时影子系统:这个系统允许人类操作员使用单个 RGB 摄像头进行全身控制,配合 Humanoid Shadowing Transformer,这是一种在模拟环境中训练的基于大量人类运动数据的 low-level 策略。Humanoid Shadowing Transformer 能够实时响应人类动作,让机器人模仿人类的动作,就像人类的影子一样 。人形模仿 Transformer(Humanoid Imitation Transformer, HIT):这是一种模仿学习算法,它能够通过少量(大约 40 次)的演示高效学习复杂的任务,如穿鞋、站立行走等。HIT 利用双目感知和高自由度控制,通过模仿人类技能自主完成不同的任务。HumanPlus 的方法克服了人形机器人从人类数据中学习时面临的一些挑战,例如机器人和人类在形态和驱动方面存在的物理差异,以及缺乏全身人形机器人的远程操作数据管道。通过使用先进的人体和手部姿态估计算法(如 WHAM 和 HaMeR),HumanPlus 能够实时估计人类动作并将其重新定向到人形机器人动作,实现高效的模仿学习
二、仿真合成数据
合成数据为解决具身智能训练数据问题,特别是对提升空间形态理解和类人反应能力方面提供了一种更务实的方案,常见的方法是从模拟环境到真实世界迁移(Sim-to-Real)。首先要对机器人的物理结构进行详细建模,对物理本体进行数字化映射,模拟各个组件和关节运动。然后构建构建多样化的3D数字场景和空间,通过1:1的精确复刻真实场景,或者构建未来想要的不存在的虚拟场景,从视觉尺寸,比例,场景的光照,物体模型的材质等多个角度,构建物理精确的数字孪生环境,对机器人的行为动作、反馈控制、环境感知进行仿真和训练。最后,当仿真评估有效后,将训练好的策略平滑应用到真实机器人上,进行虚实同步的测试和优化,使开发和训练效果大幅提升。当然,其难点在于,合成数据与真实数据之间存在数据分布的差异,以及实时性不强和精度不足的问题。因此,利用此方法训练,又会出现模型泛化能力较强,但执行复杂操作能力不足的问题。
|