什么是 SimReady?

SimReady (仿真就绪) 是一个基于 OpenUSD 的框架,可定义物理 AI 仿真工作流所需的物理属性、语义标签、材料属性和三维资产元数据。

为什么选择 SimReady?

物理 AI 工作流中,辅助驾驶系统在部署到现实世界之前,会通过与仿真环境交互来学习和运行。为了可靠地实现这一目标,这些仿真环境需要 3D 内容,以承载 Physics 数据 (例如质量属性、碰撞事故边界、传感器相关材质属性和语义标签),从而告诉 AI 系统物体是什么,而不仅仅是它们的外观。

大多数 3D 工作流程的构建历来都是为了还原视觉外观,而非物理模型精度,但物理模型精度对于物理 AI 领域的环境仿真至关重要。因此,有些团队构建了专门的解决方案,而另一些团队则需要为每项资产、每个项目、每个运行时手动配置物理属性。

通用场景描述 (openUSD) 已经成为物理 AI 的基础 3D 数据格式。该开放源代码框架由 OpenUSD 联盟 (AOUSD) 管理,帮助团队描述、组合 3D 内容并开展协同仿真。它非常适合工业、机器人开发和自动驾驶汽车用例,能将 3D 数据、仿真资产和真实世界遥测数据整合进一个共享且物理精准的世界视图中。

SimReady 在此基础上构建,为仿真就绪的 OpenUSD 资产定义了共享的要求和验证路径。这些 Physics 属性包括质量、摩擦力、惯性张量、碰撞事故与几何特性;目标类别、功能与材料类型等语义标签;以及行为元数据,如关节极限、执行器属性和状态机定义 (视用例需求而定)。

其成果是专为物理 AI 构建的仿真就绪内容,无需从头开始,即可跨项目、团队、支持工具、工作流和运行时进行扩展。SimReady 开放且经过验证的规范为机器人开发、智能汽车和工业自动化领域的所有团队提供了共享基础,使其只需构建一次资产,即可在所有工作流中采用,且不受专有技术的锁定。

结构解析

SimReady 围绕三个实用层构建:用于规范与验证的 SimReady 标准、用于转换与工作流集成的开发者工具,以及可供实战的预验证样本内容。

标准层

一项标准化规范定义了 SimReady 在工业和机器人开发行业的意义 —— 即涵盖 Physics 规则、碰撞事故几何、语义标签和材质属性的规则,使内容能够在仿真工具、工作流和运行时之间实现互操作。

开发层

一组工具,可将现有 3D 资产转换并验证为 OpenUSD,并访问预构建且符合 SimReady 标准的资产,以适应现有工作流。

内容层

一个不断增长的库,包含 1,000 多个经过预验证且可投入生产的资产和样本 (例如,各种道具、工业机器人和仓库环境),可在 NVIDIA Isaac Sim 6.0 上运行。这些资产已经满足 SimReady 标准,为 SimReady 内容的外观和行为提供了参考。

物理 AI 开放数据集

该数据集专为机器人开发和仿真研究设计,以 OpenUSD 格式提供 3D 仓库对象,帮助开发者构建、测试和验证用于现实世界部署的物理 AI 模型。

相关内容

SimReady 工作原理

构建物理精准的工作流,首先要准备好资产,然后使用 SimReady 标准准备各个运行时所需的 Physics 属性、语义标签、材质属性和关节数据,从而驱动仿真、AI 和传感器运作。

第 1 步:转换资产

大多数 Target 内容 (CAD Modder、摄影测量扫描和手动 3D Modder) 在交付时,并不具备 SimReady 标准所需的 Physics 属性、语义标签和材质属性,导致这些资产在物理 AI 工作流中缺乏可靠性。

NVIDIA 提供的工具可自动完成这一转换:

  • 将 CAD 转换为通用场景描述:CAD 转换为通用场景描述的转换器可帮助将 Target CAD 装配体转换为 OpenUSD 资产,并验证目标工作流所需的仿真属性。
  • 将通用格式转换为通用场景描述:通用 3D 和机器人开发格式 (包括 URDFMuJoCo高斯泼溅FBX、OBJ 和 glTF) 均可转换为 OpenUSD 资产,并具备针对目标工作流验证过的仿真属性。对于专用转换工作流未涵盖的格式,通用场景描述 Exchange SDK 导出器可将几乎任何 Target 格式导入通用场景描述。
  • 自动材质分配:专有 CAD 表面定义被映射为基于物理的 MDL 材质,在保留光线追踪光照下外观的同时,能够确保材质正确响应摄像头、激光雷达、雷达和热传感器,从而生成准确的合成数据。
  • 验证:NVIDIA 验证工具会检查完整性、物理合理性和运行时兼容性。


第 2 步:加载到 SimReady 场景中

资产符合 SimReady 标准后,即可加载到 NVIDIA Isaac Sim™ 或 NVIDIA Omniverse™ 等运行时库。运行时可以读取内置于资产中的 Physics 属性、语义标签、材质属性和关节数据,无需手动设置。

第 3 步:运行物理 AI 仿真

借助 OpenUSD 场景中的 SimReady 资产,Physics、AI 和传感器仿真可以在同一资产定义下同时运行。

第 4 步:结果

在进入物理 AI 仿真后,资产会显示出逼真的部署级行为:抓取物体的机械臂、配包裹的传送系统,或是在 AI 工厂数字孪生中于热负载下运行的冷却基础设施 —— 所有这些均基于相同的、经过验证的资产数据。

SimReady 资产结构解析

SimReady 资产包含可在 3D 环境中实现鲁棒交互的特性,例如:

  • 语义标注:通过验证感知系统的对象识别和分类,为机器学习提供真值。
  • 非视觉传感器和非视觉材质属性:通过包含影响传感器响应但人眼不可见的属性 (包括材质属性),实现精准的非视觉传感器仿真 (如雷达、激光雷达、热成像)。
  • 碰撞形状:定义物理边界,决定物体在仿真环境中是如何相互作用和碰撞的。
  • 质量属性:包含重量、质心和惯性数据,使得在仿真过程中能够进行逼真的 Physics 计算。
  • 材料细节:说明材料表面特性 (如摩擦力、弹性) 以及影响物体行为和外观的视觉属性。
  • 关节与行为:关节定义、极限与运动链,确保具有活动部件的资产 (机器人、门、传送机) 在仿真中正常运行。
  • 变体:多种配置 (开 / 闭、满载 / 空载、颜色选项) 以通用场景描述变体集的形式存储,用于设计探索和合成数据随机化。

说明:SimReady 资产包含 Physics 属性、语义标签和材质属性等特性,以便为物理 AI 仿真做好 SimReady 准备。

SimReady 资产是如何构建的?

SimReady 资产创建始于捕获物体的几何结构、外观、材质和现实世界物理行为,然后对该表示进行结构化,以便仿真工具能够读取所需的 Physics 属性、语义标签和材质属性。

团队通常通过三种方式创建 SimReady 资产:

  • 从非通用场景描述资产入手:将 OBJ、FBX、CAD 或真实世界扫描数据转换为通用场景描述,然后配置缺失的 Physics 碰撞器、材质和语义标签,以满足 SimReady 规范。
  • 从现有通用场景描述资产入手:根据 SimReady 规范对资产进行验证以识别缺失项,然后补充缺失的 Physics、材质或语义属性,然后再将其用于 3D 仿真。
  • 从经过验证的资产入手:使用来自 NVIDIA 及其生态系统合作伙伴预构建的 SimReady 资产,这些资产已经过验证,可在 NVIDIA Isaac Sim 或 NVIDIA Omniverse 中使用。

SimReady 标准的管理机制

构建数字孪生的企业组织面临一个结构性问题:当资产使用自定义格式隔离创建时,它们面临在不同的工具、运行时和企业组织之间不兼容的风险。这会导致重复劳动造成的瓶颈,从而拖慢物理 AI 工作流。仿真内容需要在工具链、运行时环境和领域专家之间共享约定,以便资产能够被复用,而无需进行一次性的转换工作。

SimReady 的发展得益于开放规范的制定以及业界的积极参与。NVIDIA 与合作伙伴合作,针对真实世界的各个领域验证 SimReady 的要求,同时将所得经验贡献给 OpenUSD 联盟,从而强化 OpenUSD 在工业和物理 AI 工作流中的应用。

这种进步体现在以下三个方面:

  • 特性扩展:通过更丰富的功能扩展 SimReady 资产,包括高级 Physics 行为和关节部件,支持更复杂、更逼真的仿真。
  • 工作流扩展:大规模自动执行资产转换与验证,帮助团队为数字环境和训练数据集做好准备,准备大型的源资产库。
  • 标准化审查:定义 SimReady 的特性如何映射到 OpenUSD,让受支持的工具和平台能够在整个生态系统中更一致地采用这些特性。

SimReady 的真实世界用例

SimReady 资产提供了 AI 仿真工作流所需的 Physics 特性、材质属性与语义属性,涵盖工业自动化、机器人开发、数字孪生开发和智能汽车等领域。

工业自动化

构建逼真的工业仿真需要数千个 3D 资产。SimReady 资产提供物理精准的 3D 资产,随时可以投入涉及 AI 驱动的机器人和自主智能体的复杂仿真场景。

机器人

为物理世界训练机器人需要大量的时间和高质量资产。SimReady 资产可提供真实世界的 Physics、材质和语义数据,这对合成数据生成至关重要。

适用于物理 AI 的合成数据生成

SimReady 资产为团队提供了经过验证的基于通用场景描述的 3D 资产,这些资产可直接置入仓库、工厂和智能空间的数字孪生中,以便在真实世界部署前模拟工作流、优化布局并训练机器人。

辅助驾驶

训练辅助驾驶系统需要高度逼真且多样化的环境。SimReady 资产提供标注好的数据、街道物体、车辆、行人和虚拟危险场景,使开发者能够执行传感器验证和 AI 模型训练。

SimReady 有哪些优势?

真实世界模型精度

创建包含反映真实世界行为的 Physics 数据的 3D 资产,以便团队在物理世界中部署之前进行仿真模拟。

灵活性和模块化

在支持的运行时中,使用基于 OpenUSD 的模块化资产,使团队避免在仿真栈发展过程中遭遇技术锁定。

互操作性

为现有数据添加仿真专用的元数据,使受支持的环境可以利用所需的上下文,减少手动重新配置。

可扩展性

将 Physics 属性直接嵌入资产中,以支持虚拟训练和测试,无需为每个新用例重新调整库。

如何开始使用 SimReady?

利用以下工具、标准和资源,开始使用和创建 SimReady 资产。

转换与验证现有资产

  • 使用 OpenUSD 工具,将常见的 3D 文件格式转换为 OpenUSD,用于物理 AI 仿真
  • 利用 SimReady Foundation 根据需求和配置文件验证 OpenUSD 资产

利用预构建资产

在物理 AI 仿真中运行 SimReady 资产

后续步骤

探索 SimReady Foundation

了解 SimReady 配置文件、规则和特性适配器如何确保 OpenUSD 资产是专为物理 AI 工作流而构建的。

加速工业数字孪生开发

构建物理 AI 时代的智能工厂、仓库和工业设施。

加速机器人开发仿真发展

了解机器人仿真如何支持基于 AI 的物理机器人和多机器人集群。