什么是世界行动模型？
世界行动模型 (WAM) 是一种机器人 AI 模型，它既学习世界可能发生的变化，又学习机器人可以采取哪些行动来塑造这种变化。通过预测未来状态并将其与行动相匹配，WAM 可帮助机器人在新的任务或环境中更好地规划和适应。
世界行动模型是如何运作的？
WAM 采用了与传统机器人 AI 截然不同的方法。目前，许多通用的机器人 AI 系统是视觉-语言-行动 (VLA) 模型，例如 NVIDIA Isaac GR00T 模型，这些模型将视觉和语言理解相结合，直接预测行动。虽然 VLA 受益于广泛的互联网知识，但它们通常被训练成将观察结果和指令映射到行动，而不是明确地对世界的时空物理动力学进行建模。
世界行动模型能够通过联合学习来预测未来世界状态 (世界将呈现的样子) 以及影响世界达到这一状态所需的机器人行动，从而弥补这一差距。视频是核心学习信号，因为它以密集且自然的方式，展示了物理世界如何随时间演变。通过基于大规模视频数据 (包括互联网视频和第一人称视角影像) 进行训练，WAM 发展出一种关于物理、运动和交互的内在化模型，这种模型可以广泛转移到新的任务和环境。
在实践中，WAM 作为一个统一的端到端模型运行，具体来说是一个联合的视频-世界行动模型扩散 Transformer (DiT)，能联合预测未来的潜在视觉表征和相应的机器人行动。这种联合公式并不是将世界建模和行动预测视为连续阶段，而是确保两种模态之间的深度整合，这一特性被称为视频-世界行动模型对齐。通过预测行动以及视觉表征，模型可以减少物理上不合理的行动或倾向于可行行动。
在运行时，系统接受文本指令和初始观察结果，预测预期变化的压缩表示，并直接从中推导机器人命令，而无需生成完整图像。
DreamZero
快速链接
应用和实际用例
世界行动模型非常适合需要机器人执行各种不可预测的物理任务的应用，尤其是在家庭、仓库或公共场所等非结构化环境中。
世界行动模型有哪些优势？
挑战和解决方案
世界行动模型代表了一项快速发展的技术，但在广泛部署的道路上仍存在诸多挑战。
常见问题解答
NVIDIA Isaac GR00T 等 VLA 是基于静态图像文本数据集进行预训练的，直接从视觉和语言输入预测行动。它们在语义层面具有良好的泛化能力，能够识别物体并遵循指令，但难以应对训练过程中未见过的新型物理运动。WAM 在一个统一的模型中联合预测未来的视频帧和相应的机器人行动，继承了大规模视频预训练中的时空物理先验。
WAM 通过从多样化、大规模的视频数据中学习物理动力学，而不是记忆任务特定的机器人演示，来实现零样本泛化。由于 WAM 被训练为预测世界在各种运动和环境下的视觉变化，而不仅仅是匹配状态-行动对，因此会发展出可迁移的运动先验，无需额外训练即可应用于全新任务。
是的。世界行动模型可泛化到未见任务，因为其核心训练目标是预测世界的视觉变化，使模型能够广泛理解物理运动，而不局限于在机器人训练过程中见过的任务。这是相对于 VLA 的一个根本优势，因为 VLA 难以泛化到其专家演示分布范围之外。
WAM 能够从多样化、非重复的视频数据中学习物理动力学，而无需大型结构化演示数据集，因而相比 VLA 基准有显著的性能提升。这就意味着更强大的泛化能力、数据效率更高的微调，以及更快地在新机器人硬件上部署。
性能与视频生成质量直接正相关，这意味着对底层视频基础模型的改进会立即转化为更强大的机器人性能。
