本帖最后由 kiara 于 2024-9-4 14:27 编辑
本篇文章会介绍我们基于Mobile ALOHA系统，针对多样化复杂场景中人形机器人的遥控操作与自主作业展开研究，开发基于Transformer的模仿学习训练框架，部署于青龙全尺寸仿人机器人，实现了典型任务的自动化数据生成与作业控制，助力未来机器人项目发展。之后的文章我会详细介绍Aloha项目的复现过程，模型对比，以及我们在此基础上进一步的研究。
项目背景目前大部分基于模仿学习的机器人集中在桌面任务，无法适配未来人形机器人面对的多样化场景。2024年1月，斯坦福开源Mobile ALOHA机器人操作系统，通过搭建低成本、用户友好的远程操作平台模拟移动操作任务（需要全身控制的双手操作），提供了更符合机器人的动作训练样本。Mobile ALOHA收集的大量人类示教数据，后续可被用于监督训练，复刻人类行为。
项目背景
基于Transformer架构的模仿学习策略，在机器人技术中表现出了令人印象深刻的表现。借助联合训练方法，仅通过10分钟或50次示教，即可直接在现实世界中学习多种精细操控技能。该学习策略可部署于实物样机，指导机器人自主完成复杂的移动操控任务，例如炒一只虾并且装盘，打开柜门整理重型厨具，呼叫电梯并进入，迁移后机器人自主执行成功率高达80%。此外，对于完整烹饪滑蛋虾仁、颠锅等对于当下机器人较为困难的复杂任务， Mobile ALOHA可以通过远程高精度遥操作完成，可被用来收集大量相关数据，训练通用性更好的系统。
针对上述背景，结合人形机器人在多样化复杂任务场景中遥控操作、自主作业的需求，开展本项目研究，完成遥操作系统搭建，打通模仿学习训练流程，同时面向人形机器人进行迁移部署。
项目摘要
Working-Arm是一个基于Transformer架构的模仿学习训练框架，旨在训练仿人机器人的智能作业技能。项目基于Mobile ALOHA开源系统，强调通用机械臂作业任务，支持任意自由度机械臂的示教数据采集、模仿学习训练、推理测试。相对应地，项目提供数据采集、训练、推理，三个代码模块，均设置统一接口，可独立使用。此外，项目面向实物样机部署对软硬件接口进行统一封装，并结合数字虚拟机器人可以实现示教数据采集与对神经网络的快速验证，允许用户使用不同构型机械臂进行示教数据库搭建、基线对比、部署验证等。
我们已将模型迁移至人形机器人青龙并开展了在仿真环境下对示教数据的生成，基于离线专家策略实现了抓取和放置两类典型任务的自动化数据生成。同时，在梳理Aloha软件开发过程中还形成了基于Mojoco的开源仿真Demo，可以用于提供给其他高校、团队开展上肢作业控制算法的研究，并支撑未来RobotFarm项目的开展。
设备配置
青龙全尺寸通用人形机器人是自主研发人形机器人，拥有高度仿生的躯干构型和拟人化的运动控制，全身最多达43个全身自由度，最大关节峰值扭矩达396N.m，具备快速行走、敏捷避障、稳健上下坡、抗冲击干扰等运动功能，是通用人工智能的理想载体。青龙全尺寸通用人形机器人强对标生物人功能指标，包括外观（头部、胸腔、手臂、灵巧手、腰部、腿足）、外形尺寸、关节运动范围、机动、感知、交互、作业等。
我们面向人形机器人青龙进行Aloha硬件改造，完成在双臂上对相机的部署、图像数据采集与训练数据采集接口开发，便于将模型应用于不同自由度的机器人上。
体重：80kg
载重：>= 20kg
主动自由度：43个
行走速度：>= 5km/h
作业能力：（1）单臂自由度7，工作半径≥600mm，肘关节折叠角度可达170°，末端法兰与末端旋转中心距离≤64mm，整臂灵活工作空间大。
（2）单臂平举负载≥3kg，最大负载≥5kg
（3）双臂搬运负载≥10kg
（4）重复定位精度优于±0.2mm
（5）直臂状态下，外包络直径≤Φ109，整臂具有良好的狭窄空间作业能力
| 
关注B站
关注抖音
关注微信公众号
