适用于物理 AI 的合成数据生成

物理 AI 模型支持自主系统感知、理解环境，与物理世界进行交互、导航。合成数据对于训练和测试物理 AI 模型至关重要。

世界模型利用各种输入数据，包括文本、图像、视频和运动信息，以极高的精度生成并仿真虚拟世界。   

世界模型具有卓越的泛化能力，仅需极少的微调即可满足各种应用需求。其可作为机器人和自动驾驶汽车的认知引擎，充分发挥对现实世界动态的全面理解。为了达到这种复杂程度，世界模型依赖于海量的训练数据。 

世界模型开发从有助于自动执行碎片化合成数据生成工作流的智能体技能中受益匪浅。智能体可以访问仿真工具、开放模型和库，以生成物理精准的合成数据、创建极端场景，并在光照、背景、颜色、位置和环境中应用域随机化。这有助于团队更快地生成多样化的训练数据、提高模型泛化、加速模型训练，并将开发扩展到仅靠真实世界数据无法实现的范围之外。

机器人学习涵盖一系列算法和方法，让机器人能够在模拟或真实环境中获得操作、运动和分类等新技能。强化学习、模仿学习和扩散策略是用于训练机器人的关键方法。  

拾取、分拣和组装物品等操作能力，是机器人的一项重要技能，类似于工厂中的作业场景。通常，现实世界的人类示范会被用作训练的输入数据。然而，收集大量且多样化的数据集的成本很高。

为了克服这一挑战，开发者可以利用基于 NVIDIA Cosmos™ 构建的 NVIDIA Isaac GR00T-Dreams blueprint，生成大型、多样化的合成运动数据集以进行训练。

NVIDIA Isaac GR00T-Dreams blueprint 使用 Cosmos 生成大量合成轨迹数据，这些数据由单张图像和语言指令驱动生成。借助于此，机器人无需特定的遥操作数据，即可在陌生环境中学习新任务。

NVIDIA Isaac GR00T-Mimic Blueprint 仅通过少量人工演示，即可生成海量的合成轨迹数据。此举助力机器人在已知任务和环境中提高操作能力。

然后，这些数据集可用于在 Isaac Lab 内训练 Isaac GR00T 开源基础模型，从而实现通用化的人形机器人推理和稳健的技能习得。

借助 NVIDIA Cosmos 3，开发者可以从机器人学习的坚实基础开始，并针对其具身、环境和任务使用后训练进行专业化。

软件在环 (SIL) 测试对于 AI 赋能机器人和自动驾驶汽车而言是一个关键的测试阶段。在这个阶段，控制软件将在仿真环境中而不是在真实硬件上进行测试。

仿真生成的合成数据可确保对真实物理现象进行精确建模，包括传感器输入、执行器动态和环境相互作用。这也提供了一种捕捉罕见场景的方法，而在现实世界中收集这种场景是很危险的。这可确保在仿真环境中机器人软件栈的表现与在实体机器人上表现一致，从而无需物理硬件，即可进行全面测试和验证。  

来自这些仿真中的合成数据会反馈给机器人大脑。机器人大脑会感知结果，决定下一步行动。该循环持续进行，而 Mega 则精确追踪数字孪生中所有资产的状态和位置。