英伟达2月世界模型双子星 DreamZero 和 DreamDojo

DreamZero 和 DreamDojo 是 NVIDIA GEAR 团队（Jim Fan、Yuke Zhu、Joel Jang 等）在 2026 年 2 月同期发布的两个互补项目，它们不是版本迭代关系，而是同一"后 VLA 范式"技术体系下的双轨制解决方案，通过世界模型（World Models）实现真正的物理智能

核心关系：互补协同，而非版本迭代
DreamDojo
论文标题：A Generalist Robot World Model from Large-Scale Human Videos
项目网站：https://dreamdojo-world.github.io/
核心问题：数据稀缺：如何从海量人类视频学习？
数据基础：44,711 小时人类第一人称视频（DreamDojo-HV）
技术架构：基于 Cosmos-Predict2.5（700M/2B 参数）
动作表示：Latent Actions（潜在动作，连接人类与机器人）
实时性：   10 FPS（通过蒸馏实现实时遥操作）
主要贡献：解决"人类视频→机器人知识"的迁移


DreamZero
论文标题：World Action Models are Zero-shot Policies
项目网站：https://dreamzero0.github.io/
核心问题：泛化与控制：如何实现零样本泛化和实时闭环？
数据基础：异构机器人数据（AgiBot + DROID）
技术架构：基于 Wan2.1-I2V-14B（国产开源大模型14B 参数视频扩散）
动作表示：连续动作 Token（与视频联合扩散）
实时性：   7Hz 闭环控制（DreamZero-Flash 优化）
主要贡献：解决"世界模型→零样本控制"的落地


技术分工：从观察到行动的 Pipeline


两者共同构建了"从人类观察学习物理，零样本部署到新环境"的完整技术路径

1. DreamDojo = 物理直觉的"预科学校"

• 目标：利用互联网上现成的人类视频（如做家务、使用工具），让模型学习通用物理规律（重力、摩擦力、物体 permanence）
• 关键创新：使用 Continuous Latent Actions（连续潜在动作）作为统一动作空间，解决人类视频没有机器人关节角标注的问题
  
• 输出：一个经过大规模人类视频预训练的通用世界模型
  

2. DreamZero = 机器人控制的"专业训练"

• 目标：将世界模型转化为实时闭环控制器，实现真正的 Zero-shot 泛化
• 关键创新：World Action Model (WAM) 架构——联合生成未来视频（世界状态）和动作轨迹，通过 38 倍加速（DreamZero-Flash）实现 7Hz 实时控制
• 输出：能在未见过的任务（如解鞋带、按电梯按钮）上直接执行动作的机器人策略
  

作者团队的高度重叠根据 Joel Jang 的个人主页，两个项目的核心作者几乎完全相同
：
共同作者：Jim Fan (Linxi Fan)、Yuke Zhu、Joel Jang、Shenyuan Gao、William Liang、Sihyun Yu、George Kurian 等
这表明两者是在同一研究框架下并行推进的：

• DreamDojo 解决数据层的问题（如何充分利用人类视频）
• DreamZero 解决模型层的问题（如何架构 World Action Model）
  

1. 人类视频 (YouTube/EPIC-Kitchens etc.)
   
2.     ↓
   
3. [DREAMDOJO] 预训练阶段：学习通用物理直觉 (Cosmos-Predict2.5 + Latent Actions)
   
4.     ↓
   
5. 机器人数据 (AgiBot/DROID)  
   
6.     ↓
   
7. [DREAMZERO] 后训练/部署阶段：零样本控制 + 实时闭环 (Wan2.1-I2V-14B + DiT)
   
8.     ↓
   
9. 真实机器人 (GR-1, G1, AgiBot, YAM...)

复制代码