在OpenLoong第五期线下技术分享会上，我们邀请到了来自国家地方共建人形机器人创新中心的 Quark 老师进行专题分享。Quark老师带来了更具哲学思考的演讲——《从哲学到技术：人形机器人感知导航的探索》。他围绕 “我是谁？”、“我从哪里来？”、“我要到哪里去？” 这三个哲学命题，深入剖析了人形机器人如何认知自身、理 ...

随着机器人技术和人工智能的发展，仿真平台已成为研究人员、开发者和企业不可或缺的工具。这些平台为机器人和算法的设计、测试、验证提供了高效、低成本的虚拟环境。本文将介绍当下主流的机器人仿真平台，包括其特点、适用场景以及优缺点，帮助大家选择最适合的工具。 1. Gazebo 特点： • Gazebo 是最早流行的开源机器人 ...

🌐 环境配置 我们使用的开发环境如下： • 系统: Ubuntu 22.04 • 编程语言: Python 3.9 • 工具链: Anaconda • CUDA: 12.1 • Cudnn: 配套版本 • PyTorch: 2.1.1 + cu121 • Minkowski Engine: 12.1 配置关键步骤 1. 设置 CUDA 环境变量： export CUDA_HOME=/usr/local/cuda-12.1export TORCH_CUDA_ARCH_LIST="8.9" ...

我们基于开源系统 Mobile ALOHA，针对通用机械臂作业任务，开发了支持 任意自由度机械臂 的示教数据采集、模仿学习训练和推理测试的完整解决方案。 系统功能与架构 1. 数据采集模块 通过仿真或样机采集机械臂示教数据，输出为统一的 h5df 格式，具体包括：•视觉数据：三个相机的 RGB 图像（top, left_wrist, right_wrist ...

现代语言模型的基础在于计算力、数据和算法的协同作用。就像炼丹一般，数据被视为炼丹的材料，而计算力充当“炉火”，算法则是决定模型性能的配方。在此过程中，大量数据通过复杂的算法和强劲的计算资源被压缩、提炼，并存储于模型之中，使模型能够从已知数据中学习和生成新的、具有实用价值的内容。随着技术的演进，这种炼 ...

[*]简介 你是否想过，机器人可以像人类一样学习运动技能和自主执行任务？本文将为你揭秘一款名为 HumanPlus 的全栈式系统，它不仅能让机器人从人类动作数据中学习，还能在实际场景中自主完成复杂任务。🎯 通过 HumanPlus，我们可以实现让人形机器人模仿人类动作。这是如何做到的呢？首先，通过部署低级别控制策略，使得 ...

Ed-Lora 是一种基于 LoRA（Low-Rank Adaptation）技术的扩展应用，主要用于视频和图像的细节增强与画质提升。LoRA 技术是一种深度学习领域的参数高效调优方法，可以在保持模型核心结构的同时，通过少量参数实现模型的定制化训练。Ed-Lora 在此基础上，通过输入高分辨率图片、掩膜和描述文本来优化视频或图像的分辨率、清晰 ...

本篇文章会介绍我们基于Mobile ALOHA系统，针对多样化复杂场景中人形机器人的遥控操作与自主作业展开研究，开发基于Transformer的模仿学习训练框架，部署于青龙全尺寸仿人机器人，实现了典型任务的自动化数据生成与作业控制，助力未来机器人项目发展。之后的文章我会详细介绍Aloha项目的复现过程，模型对比，以及我们在此基 ...

结论：没有产品能够通过语音判定用户感情，AI对于用户的回答纯粹基于文字聊天信息，虚拟角色的回答根据用户设置的prompt而变化。 有的产品需要输入对话prompt，有的不需要。 各产品合成的语音语气变化相对不明显。ChatGPT可以对语音语速的快慢进行一定的调整，在语调上没有明显变化。在生成语音时，GPT会加一些语气词，使生 ...

本片内容会对aloha在虚拟环境的任务进行逐一复现，包含详细内容和常见错误解决方案。 数据采集模块从仿真/样机收集数据，采集内容包括'top', 'left_wrist', 'right_wrist'3个相机RGB图像（3,3,630,480），以及双臂关节角qpos，actions。输出为h5df统一格式。 安装 Robomimic https://github.com/ARISE-Initiative/robomim ...

和青龙的语音交互OpenLoongBrain除了使用TTS服务提供的已有声音,集成了GPT-SoVITS之后,就可以自己创建想要的声音啦! 本文展示如何让青龙使用GPT-SoVITS训练的声音进行交互（项目在VSCode中运行）。 OpenLoongBrain项目地址: https://atomgit.com/openloong/OpenLoongBrain [hr] GPT-SoVITS项目地址(部署在本地时项目所在目 ...

policy对比: 任务1 sim_transfer_cube_scriptedDiffusion Policy "ENABLE_EMA = True" 会出现报错"nets = self.ema.averaged_model" ，所以改为"ENABLE_EMA = False"，可以训练。 在2000steps后的ACT得到20%成功率，我们现在用Diffusion Policy，同样的2000steps： Diffusion Policy 5000 steps： Diffusion Policy ...