机器人学习

技术运用

典型的端到端机器人工作流包括数据处理、模型训练、在仿真环境中验证以及在真实机器人上部署。

数据处理：为了填补数据空白，使用多样化的高质量数据集，该数据集结合了互联网规模的数据、合成数据和真实机器人数据。开发者可以使用物理 AI Blueprint 大规模管理、增强和评估合成数据，这些数据可用于 Isaac Lab-Arena 中的微调和策略评估。

在仿真环境中进行训练和验证：机器人需要针对任务定义的场景进行训练和部署，并且需要真实世界状况的精确虚拟表示。NVIDIA Isaac™ Lab 是一个开源的机器人学习框架，它采用模块化方式，运用强化学习和模仿学习技术来帮助训练机器人策略。

Isaac Lab 与 NVIDIA Isaac Sim™ 原生集成，后者是一个基于 NVIDIA Omniverse™ 库构建的开放式参考机器人仿真应用，使用 GPU 加速的 NVIDIA PhysX® Physics 和 RTX™ 渲染进行高保真验证。借助该统一框架可以在轻量级仿真环境中快速设计策略原型，然后再部署到生产系统。

Isaac Lab-Arena 是一个基于 Isaac Lab 构建的开源框架，用于在仿真环境中进行可扩展的策略评估，从而提供简洁的 API 以简化任务管理和多样化。

在真实机器人上部署：经过训练的机器人策略和 AI 模型可以部署到 NVIDIA Jetson™ 机器人计算机上，提供自主操作所需的性能和功能安全性。

使用 Isaac Lab 进行高保真物理仿真、执行奖励计算，并在模块化、可定制的环境中实现感知驱动的强化学习 (RL)。

首先在多种环境中配置各种机器人、定义 RL 任务，并使用 GPU 优化的库,例如 RSL RL、RL-Games、SKRL 和 Stable Baselines3 (均获得 Isaac Lab 原生支持) 训练模型。

Isaac Lab 提供灵活的任务工作流 (可以是直接的或基于管理器的)，让您能够控制训练工作的复杂性和自动化程度。

您还可以使用 Newton 这一基于 NVIDIA Warp 构建的开源 GPU 加速物理引擎，进行高速、物理精准、可微分的仿真。

此外，NVIDIA OSMO (云原生编排平台) 能够跨多 GPU 和多节点系统高效地扩展和管理复杂、多阶段和多容器的机器人工作负载。这可以显著加速机器人学习策略的开发和评估。