青龙机器人智能作业前沿解析：如何作业（UMI-on-leg篇）

UMI-on-Legs：在移动机器人平台上实现操作与运动的有机结合UMI-on-Legs框架开创性地将操作任务与四足机器人（移动平台）的运动能力融合在一起。其目标是解决机器人在动态环境中完成多样化任务的技术难题。通过手持设备采集人类演示数据并结合模拟训练，UMI-on-Legs提供了端到端的解决方案，兼具任务泛化能力与平台灵活性。

---

• 基于“解耦”的系统架构
  
  

UMI-on-Legs以任务的解耦设计为核心理念，将复杂的机器人行为分解为两大模块：

• 操作策略模块： 负责从视觉输入中推断操作任务所需的末端执行器轨迹。
  
• 全身控制器模块： 负责协调四足机器人的运动以跟踪这些轨迹。
  
  

这种解耦设计允许模块独立优化，使系统能够适应不同的任务和机器人平台。

---

• 手持数据采集设备：现实环境中的人类演示
  
  

UMI-on-Legs数据采集基于UMI（Universal Manipulation Interface），采用手持设备进行自然演示录制。

• 低成本高效： 手持式夹具由商用摄像头（如Realsense）和IMU模块组成，便于灵活部署且成本较低。
  
• 多模态数据采集： 设备捕捉手部操作的视觉信息、惯性运动数据和物体状态，提供完整的任务上下文。
  
• 精确标定： 为确保数据的高质量，采集过程包含严格的时间同步和空间标定步骤，使采集数据具有可复现性。
  
  

这种便捷的数据采集方案使UMI-on-Legs能够大规模收集多样化的任务数据，为泛化策略训练奠定基础。

---

• 操作策略：从视觉到轨迹的任务推理
  
  

UMI-on-Legs的策略模块重点在于视觉输入与轨迹输出的转化，创新点如下：

• 视觉感知：
  
  • 利用卷积神经网络（CNN）对实时图像进行特征提取，识别目标物体及其状态。
    
  • 网络结构优化结合深度估计模块，确保对三维场景的准确理解。
    
    
• 动作推理：
  
  • 策略模块通过Transformer等序列建模工具，在时间维度上关联多帧信息，预测物体与末端执行器的交互路径。
    
  • 使用条件生成模型，将高维视觉输入映射到低维轨迹空间。
    
    
• 轨迹规划：
  
  • 轨迹以任务框架为基准点进行相对表示（Relative Trajectory），降低绝对空间坐标对任务执行的影响。
    
  • 相对轨迹的设计增强了跨平台的适应性，能够在不同移动机器人的运动空间中复用。
    
    
  
  

---

• 全身控制器：优化移动与操作的协同
  
  

全身控制器负责协调四足机器人的步态与任务执行。其技术亮点如下：

• 模型预测控制（MPC）：
  
  • 使用MPC实时计算机器人的运动轨迹，平衡稳定性和轨迹跟踪需求。
    
  • MPC将末端执行器的任务要求与关节级别的动力学限制结合，实现高效的运动规划。
    
    
• 多任务融合：
  
  • 控制器支持多任务并行，如在保持身体平衡的同时完成复杂操作。
    
  • 它结合了动态规划算法（Dynamic Programming）和快速优化求解器，确保实时性。
    
    
• 适应性训练：
  
  • 通过物理引擎（如Mujoco）进行模拟训练，采样不同地形、障碍和动力学扰动。
    
  • 模拟环境中使用域随机化技术生成多样化场景，提高真实世界任务的鲁棒性。
    
    
  
  

---

• 实验设计与结果
  
  

UMI-on-Legs通过一系列现实任务验证了其多功能性。实验场景设计覆盖静态与动态任务，包括：

• 物体抓取与搬运：
  
  • 系统能够在复杂地形（如倾斜表面）上成功完成物体抓取和精准搬运任务。
    
  • 实验数据显示，UMI-on-Legs的轨迹误差低于2厘米，远超传统方法。
    
    
• 动态目标操控：
  
  • 例如抓取滚动中的物体，策略模块通过视觉序列预测目标轨迹，并实时调整抓取动作。
    
  • 在移动目标任务中，UMI-on-Legs成功率达78%，显著优于固定基座操作系统。
    
    
• 策略迁移：
  
  • 研究展示了将操作策略从固定机器人平台迁移至四足机器人上的能力，无需重新训练，零样本部署成功率超过70%。
    
    
  
  

---

• 系统的创新与技术突破
  
• 模块化设计：
  
  • 解耦的操作策略与全身控制器使系统具有极高的灵活性，便于扩展到不同机器人平台和任务。
    
    
• 相对轨迹表示：
  
  • 通过使用相对坐标表示轨迹，UMI-on-Legs避免了对绝对空间坐标的依赖，提高了跨任务的通用性。
    
    
• 视觉-运动结合：
  
  • 将视觉感知与运动控制深度融合，使机器人在动态场景中具备实时决策能力。
    
    
• 高效模拟训练：
  
  • 利用大规模模拟环境进行域随机化训练，为真实场景中的鲁棒性提供了有力保障。
    
    
  
  

---

• 未来方向与挑战
  
  

UMI-on-Legs的成功为机器人技术的发展带来了新的可能性，但仍有一些挑战值得探索：

• 实时性优化：
  
  • 提高视觉推理与控制器的计算效率，满足更高频率的动态任务需求。
    
    
• 长时间任务的鲁棒性：
  
  • 开发任务记忆模块，支持长时间任务执行中的上下文保持和状态追踪。
    
    
• 多机器人协作：
  
  • 将UMI-on-Legs扩展到多机器人系统中，探索复杂任务的协同策略。
    
    
• 领域特定优化：
  
  • 例如在医疗场景中加入力反馈与触觉感知模块，进一步提升系统的任务适应性。
    
    
  
  

---

总结UMI-on-Legs通过模块化的架构设计、创新的轨迹表示和高效的训练流程，成功实现了四足机器人在动态环境中的复杂操作任务。它的解耦策略、视觉-运动结合以及高成功率实验结果，为移动操作机器人开辟了新的研究方向，并提供了广泛的实际应用前景。