机器人仿真

物理 AI 赋能的机器人和机器人集群需要在现实世界中自主感知、规划和执行复杂任务。这包括在动态且不可预测的环境中安全高效地运输和操控物体。  

要实现这种水平的自主性，需采用“仿真优先”的方法。 

机器人仿真让机器人开发者能够通过虚拟机器人学习和测试，来训练、仿真和验证这些先进的系统。这种仿真优先的方法同样适用于多机器人集群测试，并使自主系统能够基于实时生产数据、传感器输入和推理来理解工业设施并与之交互。这一切都发生在部署之前的物理精准的数字孪生环境中，例如仓库和工厂。

仿真可以通过引导基础模型和机器人策略模型的训练，开启新的用例。现实世界的训练还可以使用 NVIDIA Omniverse™ NuRec 库进行重建和渲染，并通过合成数据生成 (SDG) 进行增强。这些数据可以包括视觉和非视觉频谱的文本、2D 或 3D 图像，甚至是运动或轨迹数据，它们可以与现实世界数据结合，用于训练多模态物理 AI 模型。

域随机化是 SDG 工作流中的关键步骤，通过改变场景中的多个参数来生成多样化的数据集。这些参数可以包括物体的位置、颜色、纹理和光照等各个方面。在后处理阶段，利用 NVIDIA Cosmos™ 世界基础模型 (WFM) 进行增强，可以进一步多样化生成的数据，并添加必要的真实感，以缩小仿真与现实的差距。生成的数据随后可以使用 Cosmos Reason 进行整理和标注。

机器人学习对于确保自主机器能在现实世界中稳健、高效地重复执行技能至关重要。高保真仿真为机器人提供了一个虚拟训练场，让它们可以通过试错或模仿来磨练自己的技能。这可以确保机器人在仿真中学到的行为能够更容易地转移到现实世界中。

NVIDIA Isaac™ Lab 是一个基于 NVIDIA Isaac Sim™ 构建的开源、统一、模块化机器人训练框架，它简化了机器人开发领域的常见工作流，例如强化学习、从演示中学习以及运动规划。

开发者还可以利用 Newton 这一基于 NVIDIA Warp 构建的开源 GPU 加速物理引擎，用于高速、物理精准、可微分的仿真。

NVIDIA Isaac GR00T-Mimic 和 GR00T-Dreams 蓝图基于 NVIDIA Cosmos 构建，可生成用于训练的大型、多样化合成运动数据集。这些数据集随后可用于在 Isaac Lab 内训练 Isaac GR00T N 开放基础模型，从而实现通用的人形机器人推理和稳健的技能习得。

软件在环 (SIL) 是为物理AI机器人系统进行软件开发过程中关键的测试和验证阶段。在 SIL 中，控制机器人的软件是在仿真环境而非真实硬件中进行测试。

结合仿真的 SIL 确保了真实世界物理特性的精准建模，包括传感器输入、执行器动力学和环境交互。Isaac Sim 为开发者提供了必要的功能，以测试机器人软件栈在仿真中的行为是否与在真实机器人上一致，从而提高测试结果的有效性。

SIL 也可以从单个机器人扩展到机器人集群。仓库和其他工业设施是高度复杂的物流环境，面临需求波动、空间限制和劳动力可用性等挑战。这些环境可以通过集成机器人集群系统来支持运营，从而受益。

Mega 是一个 NVIDIA Omniverse™ Blueprint，用于在部署到现实设施之前，在数字孪生中大规模地开发、测试和优化物理 AI 和机器人集群。借助 Mega 驱动的数字孪生（包括协调所有机器人活动和传感器数据的世界仿真器），企业可以持续更新机器人的“大脑”，以实现智能路径规划和任务执行，从而提升运营效率。

合成数据生成、机器人学习和机器人测试是高度相互依存的工作流，需要在异构基础设施中仔细编排。机器人工作流还需要对开发者友好的规范，以简化基础设施设置，提供便捷的数据和模型溯源方式，以及安全、简化的工作负载部署方式。

NVIDIA OSMO 是一个云原生编排平台，用于在本地、私有云和公有云中扩展复杂、多阶段和多容器的机器人工作负载。借助 OSMO，您可以编排、可视化和管理一系列任务。这涵盖了从生成合成数据、训练模型、进行强化学习，到为人形机器人、自主移动机器人 (AMR) 和工业机械手臂实现软件在环系统等所有方面。