机器人学习

技术运用

典型的端到端机器人工作流包括数据处理、模型训练、在仿真环境中验证以及在真实机器人上部署。

数据处理：为了填补数据缺口，可使用多样化的高质量数据集，将互联网规模的数据、合成数据以及真实机器人数据相结合。开发者可以使用视频增强技能对合成数据进行大规模管理、扩展和评估，这些数据可在 Isaac Lab-Arena 中进行微调和策略评估。

在仿真环境中进行训练和验证：机器人需要针对任务定义的场景进行训练和部署，并且需要真实世界状况的精确虚拟表示。NVIDIA Isaac™ Lab 是一个开源的机器人学习框架，它采用模块化方式，运用强化学习和模仿学习技术来帮助训练机器人策略。

Isaac Lab 与 NVIDIA Isaac Sim™ 原生集成，后者是一个基于 NVIDIA Omniverse™ 库构建的开放式参考机器人仿真应用，使用 GPU 加速的 NVIDIA PhysX® Physics 和 RTX™ 渲染实现高保真验证。借助该统一框架可以在轻量级仿真环境中快速设计策略原型，然后再部署到生产系统。这些工作流对智能体友好，具有标准连接器和技能，帮助开发者更快上手。

Isaac Lab-Arena 是一个基于 Isaac Lab 构建的开源框架，用于在仿真环境中进行可扩展的策略评估，从而提供简洁的 API 以简化任务管理和多样化。

NVIDIA Cosmos 3 是非常先进的基础模型，用于构建物理 AI 模型并为闭环仿真生成大规模数据。

在真实机器人上部署：经过训练的机器人策略和 AI 模型可以部署到 NVIDIA Jetson™ 机器人计算机上，提供自主操作所需的性能和功能安全性。

使用 Isaac Lab 进行高保真物理仿真、执行奖励计算，并在模块化、可定制的环境中实现感知驱动的强化学习 (RL)。

首先在多种环境中配置各种机器人、定义 RL 任务，并使用 GPU 优化的库，例如 RSL RL、RL-Games、SKRL 和 Stable Baselines3 (均获得 Isaac Lab 原生支持) 训练模型。

Isaac Lab 提供灵活的任务工作流 (可以是直接的或基于管理器的)，让您能够控制训练工作的复杂性和自动化程度。

您还可以使用 Newton 这一基于 NVIDIA Warp 构建的开源 GPU 加速物理引擎，进行高速、物理精准、可微分的仿真。

此外，NVIDIA OSMO (开源智能体编排工具) 能够跨多 GPU 和多节点系统高效地扩展和管理复杂、多阶段和多容器的机器人工作负载。它以 CLI 的形式提供，帮助 AI 编码智能体将提示转化为可运行的流程 —— 从合成数据生成、模型训练，到 SIL 和 HIL 评估 —— 且无需具备基础设施方面的专业知识。这可以显著加速大规模机器人学习策略的开发和评估。