什么是 SimReady?

SimReady (仿真就绪) 是一个基于 OpenUSD 的框架,根据预期的仿真工作流,定义了跨运行时物理 AI 仿真所需的物理属性、关节、语义标签、材质属性和 3D 资源元数据。

为什么选择 SimReady?

SimReady 通过为仿真就绪的 OpenUSD 资源定义共享要求和验证路径,实现仿真优先的物理 AI 开发,帮助团队在受支持的工具和仿真工作流中准备并复用 3D 内容。这些包括质量、摩擦力、惯性张量、碰撞、几何特性等物理属性;目标类别、功能与材料类型等语义标签;行为元数据,如关节极限、执行器属性和状态机定义等,这是案例所需的行为元数据。

在物理 AI 工作流中,智能体和端到端自主系统在部署到现实世界之前,会通过与物理精准的仿真环境交互来学习和运行。为此,可靠、物理精准的仿真模拟需要包含物理数据 (如质量属性、碰撞边界、关节、多体组件、与传感器相关的材料属性和语义标签) 的 3D 内容,这些数据能够告诉 AI 系统的物体本身,而不仅仅是外观。

历史上为视觉外观构建的 3D 工作流程,可以用于物理 AI 仿真模拟中的模型精度。因此,有些团队构建了专有解决方案,而另一些团队则需要为每项资源、每个项目和每个运行时手动重建属性。

通用场景描述 (OpenUSD) 已经成为物理 AI 的基础 3D 数据格式。该开源框架由 OpenUSD 联盟 (AOUSD) 管理,帮助团队描述、组合、模拟和协作 3D 内容。它非常适合工业、机器人开发和自动驾驶汽车用例,能将 3D 数据、仿真资源和真实世界遥测数据整合进一个共享且物理精准的世界视图中。

SimReady 基于 OpenUSD 构建,帮助团队在项目、支持工具、工作流和运行时中扩展物理 AI,无需从头开始。SimReady 开源、经过验证的规范为机器人开发、智能汽车和工业自动化领域的所有团队提供了共享基础,使其只需构建一次资源,即可在所有工作流中采用,而无需专有锁定。

结构解析

SimReady 围绕三个实用层构建:用于规范与验证的 SimReady 标准、用于转换与工作流集成的开发者工具,以及可供实战的预验证样本内容。

SimReady 示意图,解释了三个实用层。

说明:SimReady 围绕三个实用层构建,用于在任何运行时中编写、验证和部署资源:标准 (SimReady Foundation 规格)、开发 (开发者库、参考集成) 以及仿真就绪的内容 (消费者工作流)。

标准层

一项标准化规范,例如 SimReady Foundation,定义了如何在 OpenUSD 中在工业和机器人开发行业中表示内容。它制定了表示物理属性、关节、机器人和关节物体、碰撞几何、视觉几何、视觉和非视觉材质以及语义标签的规则,以便内容能够在仿真运行时、物理 AI 智能体、工具和工作流中正常运行。

开发层

NVIDIA Omniverse 库的 SimReady 工具等开发者库,帮助将现有 3D 资源转换为 OpenUSD 并验证,并提供对预构建、符合 SimReady 标准的资源的访问,以适应现有流水线。 

仿真就绪的内容层

一个不断增长的仓库,包含数千个经过预验证与测试的 SimReady 资源,如道具、工业机器人和仓库环境,已准备好在 NVIDIA Isaac Sim™ 上运行。这些资源已经满足 SimReady 标准,在 Isaac Sim 等参考运行时中为 SimReady 内容用例提供了参考。

SimReady Central 库

该数据集专为机器人开发和仿真研究设计,为开发者提供数千项资产,用于构建、测试和验证面向自主系统与具身智能的物理 AI 模型,助力其在真实世界中部署。

快速链接

SimReady 工作原理

创建 SimReady 资源

资源创建始于捕获物体的几何结构、外观、材质、物理和现实世界物理行为,然后对该表示进行结构化,以便仿真工具读取所需的物理属性、语义标签和材质属性。这可以通过从头开始创建 3D 资源或使用现有 3D 资源来实现。

团队可以利用 NVIDIA 的开源 Omniverse 库和 SimReady Foundation 创建 SimReady 资源:

使用 SimReady 资源

本节面向 ISV 和团队构建仿真、训练 AI 模型或运行机器人开发工作流。一旦资源满足 SimReady 标准,在受支持的运行时中,其使用方式相同。

  • 加载:将资源引入任何支持 OpenUSD 内容的运行时,例如 NVIDIA Isaac Sim 或 NVIDIA Omniverse。
  • 仿真:一旦资源被放入 OpenUSD 场景并插入到物理求解器和传感器模态中,物理、AI 和传感器仿真就可以在同一资源定义下运行。
  • 部署:资源执行逼真的部署级行为,例如抓取物体的 ARM、移动包装的传送系统,或在 AI 工厂数字孪生中于散热负载下运行的冷却基础设施。所有这些用例都可以基于同一 SimReady 验证的资源,这符合针对这些用例的多个特性。

将 SimReady 资源集成到您的工作流中

本节面向将 SimReady 构建到其自身产品和工作流中的 OEM 和 ISV。集成意味着使您的工具和内容与更广泛的 SimReady 生态系统兼容,而不是维护单独的封闭工作流。 

参与方式有两种:

  • 实现您自己内容的可发现性:OEM 可以在 Hugging Face 上托管 SimReady 内容,确保客户可发现资源。
  • 扩展规格以代表您的硬件:OEM 可以为 SimReady Foundation 规格提供新要求。

通过在创作中集成 SimReady 参考运行时测试,工作流供应商的软件能够在仿真中以更高的效率和更确定的合理结果来创作、可视化或验证资源。

SimReady 是如何构建的?

SimReady 资源包括支持运行时目标的特性和要求:

  • 要求:资源的单个基于 USD 的规则,例如正确的规模、材质或物理属性。
  • 特性:根据要求,如“可抓取”或“物理仿真”,对资源产生独特的仿真效应
  • 配置文件:特定资源类型的特性捆绑包。
  • 通用场景描述示例文件:根据特性和配置文件,最终得出资源的几何、外观、结构、物理和行为结果。
  • 验证:检查通用场景描述资源是否满足所选配置文件的要求。
  • 基准测试和测试框架:证明示例在参考运行时中满足案例。
SimReady 资源结构解析

说明:Universal 机器人开发 UR10 资源由 SimReady 属性组成,包括配置文件、特征、功能和要求。

SimReady 标准的管理机制

构建数字孪生的企业面临一个结构性问题:当资源使用自定义格式隔离创建时,它们面临在不同的工具、运行时和企业组织之间不兼容的风险。这会导致重复劳动造成的瓶颈,从而拖慢物理 AI 工作流。仿真内容需要在工具链、运行时环境和领域专家之间共享约定,以便资源能够被复用,而无需进行一次性的转换工作。

SimReady 的发展得益于开放规范的制定以及业界的积极参与。NVIDIA 与合作伙伴合作,针对现实世界领域验证 SimReady 要求,同时将所得经验贡献给 OpenUSD 联盟 (AOUSD),以强化 OpenUSD 在工业和物理 AI 工作流中的应用。

这种进步体现在以下三个方面:

  • 特性扩展:通过更丰富的功能扩展 SimReady 资源,包括高级物理行为和关节部件,支持更复杂、更逼真的仿真。
  • 工作流扩展:大规模自动执行资源转换与验证,帮助团队为数字环境和训练数据集做好准备,准备大型的源资源库。
  • 标准化审查:定义 SimReady 的特性如何映射到 OpenUSD,让受支持的工具和平台能够在整个生态系统中更一致地采用这些特性。

SimReady 的真实世界用例

SimReady 资源提供了 AI 仿真工作流所需的物理、材质和语义属性,涵盖工业自动化、机器人开发、数字孪生开发和智能汽车等领域。

工业自动化和 AI 工厂

构建逼真的工业仿真需要数千个 3D 资源。SimReady 资源提供物理精准的 3D 资源,随时可以投入涉及 AI 驱动的机器人和自主智能体的复杂仿真场景。

机器人

SimReady 资源可提供现实世界物理、材质和语义标签,用于机器人开发仿真和合成数据生成,并提供关节 Modder 信息。这些属性帮助开发者模拟机器人运动以及与物体的交互。

适用于物理 AI 的合成数据生成

SimReady 资源为团队提供了经过验证的基于通用场景描述的 3D 资源,这些资源可直接置入仓库、工厂和智能空间的数字孪生中,以便在真实世界部署前模拟工作流、优化布局并训练机器人开发。

辅助驾驶

训练辅助驾驶系统需要高度逼真且多样化的环境。SimReady 资源提供标注好的数据、街道物体、车辆、行人和虚拟危险场景,使开发者能够执行传感器验证和 AI 模型训练。

SimReady 有哪些优势?

真实世界模型精度

创建包含反映真实世界行为的物理数据的 3D 资源,以便团队在物理世界中部署之前进行仿真模拟。

灵活性和模块化

在支持的运行时中,使用基于 OpenUSD 的模块化资源,使团队避免在仿真栈发展过程中遭遇技术锁定。

互操作性

为现有数据添加仿真专用的元数据,使受支持的环境可以利用所需的上下文,减少手动重新配置。

可扩展性

将物理属性直接嵌入资源中,以支持虚拟训练和测试,无需为每个新用例重新调整库。

如何开始使用 SimReady?

利用以下工具、标准和资源,开始使用和创建 SimReady 资源。

创建 SimReady 资源

  • 使用 OpenUSD 工具,将常见的 3D 文件格式转换为 OpenUSD,用于物理 AI 仿真
  • 利用 SimReady Foundation 根据需求和配置文件验证 OpenUSD 资源

使用 SimReady 资源

在专为您的工作流打造的平台中运行 SimReady 资源:

  • 机器人开发团队:在 Isaac Sim 中运行 SimReady 资源进行仿真,并在 NVIDIA Isaac Lab 中运行 SimReady 资源以进行机器人学习。
  • 工业团队:在使用 NVIDIA Omniverse 库构建的仿真应用中运行 SimReady 资源。
  • AI 工厂团队:在使用 NVIDIA Omniverse DSX Blueprint 构建的数字孪生工作流中运行 SimReady 资源。

后续步骤

探索 SimReady Foundation

了解 SimReady 配置文件、规则和特性适配器如何确保 OpenUSD 资源是专为物理 AI 工作流而构建的。

加速工业数字孪生开发

构建物理 AI 时代的智能工厂、仓库和工业设施。

加速机器人开发仿真发展

了解机器人仿真如何支持基于 AI 的物理机器人和多机器人集群。