用于物理 AI 的合成数据生成

物理 AI 模型支持自主系统感知、理解环境，与物理世界进行交互、导航。合成数据对于训练和测试物理 AI 模型至关重要。

世界模型 利用各种输入数据，包括文本、图像、视频和运动信息，以极高的模型精度生成并仿真虚拟世界。

世界模型的特点是具有卓越的泛化能力，对于各种应用，只需进行极少的微调。 其可作为机器人和智能汽车的认知引擎，充分发挥对现实世界动态的全面理解。 为了达到这种复杂程度，世界模型要依赖于海量训练数据。 

世界模型的开发受益于通过物理精准仿真生成的大量合成数据。这种方法不仅可加速模型训练过程，还可提高模型在不同场景中的泛化能力。 域随机化技术通过允许对光照、背景、颜色、位置和环境等多个参数进行操作，进一步增强了这一过程，这些变化仅通过真实世界的数据几乎无法全面捕获。

机器人学习 是一系列算法和方法的集合，帮助机器人在模拟环境或现实世界中学习新技能，如操作、移动和分类。强化学习、模仿学习和扩散策略是用于训练机器人的关键方法。  

机器人的一项重要技能是操作，比如拿起物品、对它们进行分类并组装，就像您在工厂中看到的那样。 通常，现实世界的人类示范会被用作训练的输入数据。 然而，收集大量且多样化的数据成本相当高昂。 只需少量真实数据，开发者就能在仿真环境中生成合成动作，加快机器人训练过程。

为实现这一目标，开发者可以利用基于 NVIDIA Cosmos™ 构建的 NVIDIA Isaac GR00T-Mimic 和 GR00T-Dreams blueprint，生成用于训练的大型、多样化合成运动数据集。

NVIDIA Isaac GR00T-Dreams blueprint 根据单个图像和语言指令，使用 Cosmos 生成大量合成轨迹数据。这使机器人能够在不熟悉的环境中学习新任务，而无需特定的远程操作数据。

NVIDIA Isaac GR00T-Mimic blueprint 仅通过少量人类演示即可生成大量合成轨迹数据。这使机器人能够在已知任务和环境中改进操作。

然后，这些数据集可用于在 Isaac Lab 中训练 Isaac GR00T 开放基础模型，从而实现通用人形机器人推理和稳健的技能获取。

软件在环 (SIL) 对于 AI 赋能机器人和自动驾驶汽车而言是一个关键的测试阶段。在这个阶段，控制软件将在仿真环境中进行测试，而不是在真实硬件上进行测试。

仿真生成的合成数据可确保对真实物理现象进行精确建模，包括传感器输入、执行器动态和环境相互作用。 这也提供了一种截取罕见场景的方法，而在现实世界中捕捉这种场景是很危险的。这可确保在仿真环境中机器人软件栈的表现与在实体机器人上表现一致，从而无需物理硬件，即可进行全面测试和验证。  

这些仿真机器人可以通过环境中的感知和推理来执行任务。 这种机器人能够规划后续运动，然后执行在数字孪生环境中仿真的行动。 来自这些仿真的合成数据会反馈给机器人大脑。 机器人大脑感知结果决定下一个行动，Mega 精确跟踪数字孪生中的所有资产的状态和位置，如此循环往复。