物理 AI

NVIDIA Omniverse

通过将模块化、智能体就绪的库集成到现有 3D 应用和工作流中,为物理 AI 构建仿真就绪的世界。

概览

什么是 NVIDIA Omniverse?

物理 AI 系统在现实世界部署之前,需要仿真就绪的世界,用于设计、训练、测试和验证。 虽然 3D 场景可能看起来完整,但仍然缺乏仿真所需的结构和物理属性。

NVIDIA Omniverse™ 库是 NVIDIA Agent Toolkit 的一部分,是模块化软件组件,开发者和 AI 智能体可以集成到现有应用和工作流中,以准备和验证仿真就绪的世界。 前沿 AI 智能体可以使用这些来准备 3D 内容、组装和测试仿真工作流,并标记问题,以供开发者审查。 这使软件制造商能够向智能体提供其可信的求解器、仿真器、工具和数据,同时保持对其应用、工作流和客户体验的控制。

NVIDIA Omniverse 库为 AI 智能体提供工具,帮助其构建物理 AI 应用

了解 Omniverse 库如何将 NVIDIA RTX™ 渲染、传感器仿真和 GPU 加速物理引入物理和工业 AI 的智能体就绪工作流。

技术

Core Omniverse 库和服务

连接和构建 3D 数据

使用 OpenUSD 将原生应用数据映射到结构化 3D 场景中,该场景可以跨应用和仿真流水线移动。 探索 Python 和 C++ 示例,用于创作和交换通用场景描述数据。

检查资产就绪性

在下游训练、测试或部署之前,使用 SimReady 根据仿真就绪要求检查 OpenUSD 资产。 查看哪些要求通过或未通过,并识别需要关注的资产属性。

渲染 3D 世界用于仿真

使用 ovrtx 将 NVIDIA RTX 渲染和传感器仿真引入现有应用。 创建交互式可视化,并从 OpenUSD 场景生成摄像头、激光雷达、雷达和其他传感器输出。

模拟物理行为

使用 ovphysx 将 GPU 加速的 Physics 引入现有应用。为机器人开发和数字孪生工作流模拟运动、接触和碰撞,使用 Python 和 C/C++ 示例开始。

入门选项

Omniverse 入门

利用库构建

准备好集成物理 AI 了吗? 利用 Omniverse 库和智能体技能扩展现有应用。

从蓝图开始

需要具备基础吗?基于参考工作流构建,展示 Omniverse 库如何协同工作以实现物理 AI。

探索样本和实验室

想探索更多可能吗?探索使用 Omniverse 库构建的实验样本和集成理念。

用例

团队如何使用 Omniverse 实现物理 AI

AI 工厂数字孪生

优化 AI 工厂性能——从设计、施工到运营。

在数字孪生中连接计算、网络、功耗和冷却,在施工前测试 AI 工厂性能,并优化整个运营。

  • 使用 OpenUSD 和 SimReady 资产连接设施和设备数据。
  • 利用 NVIDIA Omniverse DSX Blueprint 优化布局、功耗和冷却。
  • 在实施之前,在仿真模拟中测试设计和运营变化。

工业数字孪生

构建仿真就绪的工业设施数字孪生,以测试和优化运营。

在现实世界部署之前,先让工业环境做好准备,以便测试、优化和验证物理 AI 工作流。

  • 连接设计、工程和仿真工作流中的 OpenUSD 场景数据。
  • 添加 RTX 渲染、物理、传感器和验证,使设施能够为仿真做好准备。
  • 利用智能体就绪的工具检查环境、发现问题并返回证据以供审查。

KION

机器人仿真模拟和学习

在现实世界部署之前,在仿真模拟中训练机器人策略并测试行为。

利用 Omniverse 库,将物理、传感器仿真和 OpenUSD 引入机器人开发测试和学习工作流。

  • 利用材质、物理属性、传感器和语义数据准备 OpenUSD 场景。
  • 使用物理和传感器仿真测试机器人的感知、运动和交互。
  • 创建各种任务和环境,以训练和评估机器人策略。

仿真就绪 3D 数据

准备和验证 3D 资产,为物理 AI 构建仿真世界。

构建物理精准的资源,3D 开发者和 AI 智能体可以使用这些资源来创建为仿真模拟做好准备的世界。

  • 将现有 3D 内容转换为 OpenUSD 资源来用于仿真模拟工作流。
  • 添加物理属性、材质和语义标签,以满足预期案例的需求。
  • 根据 SimReady 要求验证资源,并在受支持的工具和运行时中复用内容。

Agility, Apptronik, Fourier Intelligence, Unitree

合成数据生成

生成基于物理的传感器数据来训练和测试物理 AI 模型。

从仿真就绪的世界中生成基于物理学的合成数据,以训练和测试物理 AI 模型。

  • 配置场景变化、传感器布局、光照、材质和渲染输出。
  • 利用基于物理的渲染和传感器仿真生成合成数据。
  • 触发数据生成任务、检查输出并标记问题以供审查。

智能汽车仿真

构建虚拟驾驶环境,以测试自动驾驶汽车的感知和传感器响应。

准备仿真就绪的环境,用于测试感知系统、传感器和自动驾驶汽车场景。

  • 利用传感器就绪的 OpenUSD 资产构建道路、设施和场景数据。
  • 模拟摄像头、激光雷达、雷达和视觉预检,以实现感知工作流。
  • 在下游测试之前,检查传感器设置并标记就绪问题。

成功案例

实践中的物理 AI 工作流

工业数字孪生

Skild AI

使用 NVIDIA Isaac 和 Omniverse 支持机器人学习和仿真模拟工作流。

工业数字孪生

Lightwheel

演示了仿真和基础模型如何支持物理 AI 数据生成和开发工作流。

仿真就绪的资源创建

西门子

在面向数字工厂和制造工作流的更广泛的工业 AI 栈中展示了 Omniverse。

生态系统

物理 AI 生态系统中的 Omniverse

了解合作伙伴和开发者如何将 Omniverse 的能力连接到物理 AI、数字孪生、机器人开发和仿真领域的应用和工作流中。

资源

Omniverse 最新动态

开发物理 AI 应用 | NVIDIA Omniverse

OpenUSD 学习路径

借助我们面向开发者和 3D 从业者的 Learn OpenUSD 课程,获取基础知识,探索核心概念并充分发挥通用场景描述的全部潜力。

数字孪生学习路径

掌握智能工厂、仓库和工业设施的基础知识,通过 3D 集成、仿真和实时可视化技术,迎接物理 AI 时代的到来。

机器人学习路径

探索核心机器人开发概念,如仿真、ROS 和 AI 训练,以及它们如何帮助机器人在现实环境中导航、适应和执行任务。

常见问题解答

NVIDIA Omniverse 提供库、API、服务和智能体就绪的工具,用于构建物理 AI 应用和仿真就绪的 3D 工作流。开发者使用 Omniverse 将 OpenUSD 数据互操作性、RTX 渲染、物理、传感器仿真、验证和运行时能力集成到现有应用和工作流中。

开发者可以构建物理 AI 仿真应用、工业数字孪生、机器人开发仿真工作流、合成数据流以及用于准备 3D 世界仿真的工具。Omniverse 帮助团队连接 3D 数据、模拟传感器和物理、验证资产,并从视觉 3D 内容过渡到仿真就绪的环境。

前沿 AI 智能体(例如由 OpenAI GPT‑6 Astra 提供支持的智能体)可以成为 NVIDIA Omniverse 库的入口,将它们用作可调用的工具和技能,以创建和准备 3D 内容、组装仿真工作流、运行实验并验证结果。 ISV 可以将这些能力集成到现有应用中,将智能体构建到其产品中,或提供可信的求解器、仿真模拟器、工具和数据,供智能体调用,同时保留对客户体验、工作流和关键决策的控制。

是的Omniverse 库和服务帮助开发者和软件制造商将仿真能力添加到现有工具、服务和工作流中。这使得团队能够使用 Omniverse 进行渲染、物理、传感器仿真、OpenUSD 互操作性和验证,而无需替换其差异化的应用或用户体验。

当您希望将渲染、物理、传感器仿真、OpenUSD 操作或验证集成到应用或服务中时,可从 Omniverse 库开始。当您希望 AI 智能体调用 Omniverse 工具来执行定义的任务时,使用智能体技能。当您需要了解 NVIDIA 技术如何协同适应物理 AI 开发的参考工作流时,首先以蓝图为起点。

从 2026 年 5 月开始,Omniverse 可免费用于开发和生产,无需订阅 NVIDIA AI Enterprise。 使用 Omniverse 构建的软件也可以根据相同条款自由重新分发。 这与 NVIDIA 的既定方法一致,即免费提供其他库。

所有 Omniverse 软件的使用均受 NVIDIA 最终用户许可协议 (EULA) 和产品特定条款的约束。

当 Omniverse 在没有 NVIDIA AI Enterprise 订阅的情况下集成时,支持仅限于通过 NVIDIA 开发者论坛和 Discord 提供的社区支持。

NVIDIA AI Enterprise 订阅可以从 NPN 经销商或云服务提供商 (CSP) 市场购买,面向需要企业支持的客户。

NVIDIA Cosmos 提供开放世界基础模型和框架,帮助物理 AI 系统进行推理、生成世界状态并学习行动。Omniverse 提供仿真模拟技术,开发者用于构建、渲染和测试结构化 3D 环境。

开发者可以一起使用,将 Omniverse 仿真模拟的输出加入到 Cosmos 模型中。

后续步骤

加入 Omniverse 社区

与 Omniverse 开发者联系,分享反馈,探索示例和学习资源,并及时了解 OpenUSD、仿真和物理 AI 工作流。

开始使用 Omniverse 进行构建

探索用于物理 AI 仿真和智能体工作流的加速库、微服务和技能。

Omniverse GitHub

探索 Omniverse 存储库、样本和开放源代码资源,用于使用 OpenUSD 构建、渲染、物理、传感器和验证。