概览
什么是 NVIDIA Omniverse？
NVIDIA Omniverse™ 库是 NVIDIA Agent Toolkit 的一部分，提供预构建的能力，用于构建仿真就绪的世界，物理 AI 团队可以在现实世界部署之前用它来训练、测试和验证系统。开发者可以将用于 OpenUSD 数据互操作性、渲染、物理、传感器仿真、验证和运行时工作流的库、API 和服务集成到现有应用中，AI 智能体可以将其作为工具使用，更快地构建这些世界。
技术
Core Omniverse 库和服务
使用 Omniverse 库和服务，将物理 AI 仿真能力添加到应用、工具和智能体就绪的工作流中。
OpenUSD 数据和互操作性
在应用和仿真工作流中连接、组织和交换 3D 场景数据。
- 适用场景：需要持久的场景结构、资产移交或应用互操作性。
- 智能体就绪的角色：智能体可以检查、组织、转换和路由场景数据。
RTX 渲染和仿真
预览场景、生成传感器输出，并生成来自仿真就绪世界的视觉证据。
- 适用场景：需要视觉预检、合成传感器输出或仿真就绪的场景审查。
- 智能体就绪的角色：智能体可以触发渲染、模拟传感器并返回视觉证据。
物理仿真
在机器人开发和数字孪生工作流中，模拟运动、接触和基于物理学的行为。
- 适用场景：您需要测试碰撞、运动、动力学或物理准备情况。
- 智能体就绪的角色：智能体可以运行物理就绪检查，并路由问题以供审查。
仿真就绪的资产验证
在下游训练、测试或部署之前，根据仿真就绪要求检查 OpenUSD 资产。
- 适用场景：在将资产迁移到物理 AI 仿真工作流之前，您需要设置验收门限。
- 智能体就绪的角色：智能体可以运行验证检查并返回通过/失败的证据。
入门选项
选择如何使用 Omniverse 进行构建
根据您想要构建的内容，从库、智能体就绪的工具、蓝图或示例工作流开始。
用例
团队如何使用 Omniverse 实现物理 AI
-
工业设施数字孪生
-
机器人仿真
-
机器人学习
-
合成数据生成
-
智能汽车仿真
工业设施数字孪生
在现实世界部署之前，先让工业环境做好准备，以便测试、优化和验证物理 AI 工作流。
- 连接设计、工程和仿真工作流中的 OpenUSD 场景数据。
- 添加 RTX 渲染、物理、传感器和验证，使设施能够为仿真做好准备。
- 利用智能体就绪的工具检查环境、发现问题并返回证据以供审查。
Delta Electronics
机器人仿真
部署之前，在仿真就绪的环境中测试机器人的行为、感知、运动和传感器交互。
- 利用材质、物理属性、碰撞器、传感器和语义数据准备 OpenUSD 场景。
- 运行视觉、传感器和物理预测试，以检查场景就绪情况。
- 使用适用于智能体的工具检查场景、调用仿真功能，并将问题转交审核。
机器人学习
创建基于物理学的仿真环境，用于机器人学习、测试和策略迭代。
- 通过传感器、物理、场景变化和验证，设置任务就绪的世界。
- 生成用于机器人学习、测试和策略评估工作流的场景。
- 检查场景就绪情况并返回仿真步骤的证据。
Agility, Apptronik, Fourier Intelligence, Unitree
合成数据生成
从仿真就绪的世界中生成基于物理学的合成数据，以训练和测试物理 AI 模型。
- 配置场景变化、传感器布局、光照、材质和渲染输出。
- 利用基于物理的渲染和传感器仿真生成合成数据。
- 触发数据生成任务、检查输出并标记问题以供审查。
智能汽车仿真
准备仿真就绪的环境，用于测试感知系统、传感器和自动驾驶汽车场景。
- 利用传感器就绪的 OpenUSD 资产构建道路、设施和场景数据。
- 模拟摄像头、激光雷达、雷达和视觉预检，以实现感知工作流。
- 在下游测试之前，检查传感器设置并标记就绪问题。
成功案例
实践中的物理 AI 工作流
生态系统
物理 AI 生态系统中的 Omniverse
了解合作伙伴和开发者如何将 Omniverse 的能力连接到物理 AI、数字孪生、机器人开发和仿真领域的应用和工作流中。
常见问题解答
NVIDIA Omniverse 提供库、API、服务和智能体就绪的工具，用于构建物理 AI 应用和仿真就绪的 3D 工作流。开发者使用 Omniverse 将 OpenUSD 数据互操作性、RTX 渲染、物理、传感器仿真、验证和运行时能力集成到现有应用和工作流中。
开发者可以构建物理 AI 仿真应用、工业数字孪生、机器人开发仿真工作流、合成数据流以及用于准备 3D 世界仿真的工具。Omniverse 帮助团队连接 3D 数据、模拟传感器和物理、验证资产，并从视觉 3D 内容过渡到仿真就绪的环境。
AI 智能体可以将 Omniverse 的能力作为可审查的工作流中的工具。智能体可以检查 3D 场景或应用状态，调用用于 OpenUSD 操作、渲染、物理、传感器仿真或验证的 Omniverse 工具，并在工作流向前发展之前返回证据，供开发者或技术艺术家审查。
是的。Omniverse 库和服务帮助开发者和软件制造商将仿真能力添加到现有工具、服务和工作流中。这使得团队能够使用 Omniverse 进行渲染、物理、传感器仿真、OpenUSD 互操作性和验证，而无需替换其差异化的应用或用户体验。
当您希望将渲染、物理、传感器仿真、OpenUSD 操作或验证集成到应用或服务中时，可从 Omniverse 库开始。当您希望 AI 智能体调用 Omniverse 工具来执行定义的任务时，使用智能体技能。当您需要了解 NVIDIA 技术如何协同适应物理 AI 开发的参考工作流时，首先以蓝图为起点。
开发者可以使用 Omniverse 文档、GitHub 存储库、样本内容，并在可用的情况下使用精选的 NVIDIA NGC (NVIDIA GPU CLOUD) 资源，用于开发、研究、测试和评估。GitHub 上的一些 Omniverse 库是预发布的，无法获得企业支持。对于生产或企业使用，当客户拥有适用的 NVIDIA 支持授权时，可通过 NVIDIA 企业支持获得支持。查看每种资源的文档，了解其许可证、支持级别和预期用途。
NVIDIA Omniverse 帮助开发者构建和仿真面向物理 AI 的 3D 世界、应用和工作流。NVIDIA Cosmos™ 提供世界基础模型和开放的数据处理、训练和评估框架，用于物理 AI 模型开发。当 Omniverse 的仿真就绪环境支持 Cosmos 驱动的物理 AI 系统的数据生成、测试或评估工作流时，团队可以一起使用它们。
NVIDIA Omniverse Launcher (已停用)
包括 Omniverse Launcher 在内的传统 Omniverse 工具在支持的情况下可通过 NVIDIA 的传统工具和文档路径获取。开始新项目的开发者应使用当前的 Omniverse 开发者资源、文档、GitHub 存储库和支持的工具。
访问 Omniverse 传统工具和 NVIDIA 开发者论坛，了解更多详情。
NVIDIA Cosmos 是一款世界模型 (WFM) 开发平台。其核心是 Cosmos WFM，可利用多模态输入将世界状态生成为视频。
开发者可以将 Omniverse 仿真作为教学视频输入到 Cosmos Transfer WFM，以生成可控、逼真的合成数据。
Omniverse 提供训练前后的仿真环境，而 Cosmos 可控且逼真的合成数据则用于训练物理 AI 模型。
后续步骤
加入 Omniverse 社区
与 Omniverse 开发者联系，分享反馈，探索示例和学习资源，并及时了解 OpenUSD、仿真和物理 AI 工作流。
开始使用 Omniverse 进行构建
探索用于物理 AI 仿真和智能体工作流的加速库、微服务和技能。
Omniverse GitHub
探索 Omniverse 存储库、样本和开放源代码资源，用于使用 OpenUSD 构建、渲染、物理、传感器和验证。
