加快先进 AI 机器人开发。
技术运用
NVIDIA 正在开发加速系统、蓝图、工具、服务、算法和其他机器人技术,以构建符合人类形态规格的通用机器人。
人形机器人需具备在特定环境中自主感知、规划与行动的能力,这要求其能实时处理海量数据。这需要训练支撑机器人大脑的基础模型,对机器人大脑进行仿真和验证,并最终将优化后的大脑和相关软件部署到实体机器人上。
这三种 AI 系统为:
NVIDIA Isaac GR00T 是一个面向通用人形机器人的开放参考平台,使开发者能够构建、训练、测试和部署 AI 赋能的机器人。
人形机器人需要掌握多种技能以执行各种任务,这在传统上需要独立、成本高昂的 AI 模型。机器人基础模型通过基于广泛的数据进行训练,发展出可泛化的技能,解决了这一问题。这使得机器人能够适应不同的任务和环境。
Isaac GR00T 开放基础模型非常适合通用人形机器人的推理和技能。这种跨具身解决方案采用多模态输入 (包括语言和图像),在不同的环境中执行操作任务。
这些模型基于一个庞大的人形数据集进行训练,该数据集包含真实采集的数据、合成数据和互联网规模的视频数据。这些模型还可通过针对特定具身、任务和环境的后训练来进行适配。
Isaac GR00T 模型可以轻松泛化到常见任务 (例如抓取、用单臂或双臂移动物体,以及将物品从一只手臂转移到另一只手臂),或者执行需要长上下文和通用技能组合的多步任务。这些能力可以应用于多种用例,包括物料搬运、包装和检查。
对于开发者来说,要在将人形机器人部署到现实世界中之前,能够在各种物理精准的环境和条件下对它们进行训练,仿真是关键。
机器人学习和仿真框架,如基于 Omniverse 平台构建的 NVIDIA Isaac Sim 和 Isaac Lab,能够进行物理精准的仿真,从而并行训练和验证多个人形机器人智能体。
Isaac Lab 是一个基于 Isaac Sim 构建的开源统一机器人学习框架,为机器人策略训练提供高效的学习技术支持。然后,训练后的机器人策略可以在 Isaac Sim 中进行验证,Isaac Sim 是一个基于物理的虚拟环境平台,专用于构建、模拟和测试人形机器人参考应用。
机器人硬件对于运行多模态 AI 模型集群也至关重要,这些模型可在不同条件下为人形机器人提供所需的性能、低延迟和功能安全保障。
基于 NVIDIA Blackwell GPU 架构的 NVIDIA Jetson AGX Thor 提供超高性能的 AI 计算和全新的 Transformer 引擎。这在边缘提供了必要的 AI 超级算力,以赋能新一代人形机器人。
快速链接
在我们人形机器人开发合作伙伴帮助下开启使用旅程
入门
通过访问教程、论坛、版本说明和全面的文档,利用 Isaac GR00T 基础技术推动人形机器人开发。
人形机器人被设计用于在以人类为中心的空间中工作,在工厂、仓库、医院和零售环境中承担繁琐、重复或体力要求高的任务。短期内,这包括物料搬运、拣选和放置物品、机器看护、基本检查,以及协助工人抬起、搬运或运输货物。
NVIDIA Isaac 技术提供端到端技术栈,用于训练、仿真和部署人形机器人的“大脑”。这包括使用 Isaac GR00T 开放模型进行泛化推理。开发者还可以利用开源机器人学习框架 Isaac Lab 实现快速迭代、跨具身复用技能,并在将策略部署到硬件之前在 Isaac Sim 中进行验证。
团队可以在进行任何物理部署之前,利用仿真在真实设施的数字孪生中训练和测试人形机器人,这样可以评估行为、极端场景和故障模式,而不会使人员、设备或机器人面临风险。这种仿真优先的方法降低了对昂贵的物理原型和大规模现场测试的需求,有助于更早发现集成问题并缩短部署周期。
NVIDIA 的平台旨在通过将有限的真实世界演示与大规模合成数据和仿真相结合,来填补机器人数据缺口。利用开源的 Isaac Lab 框架和 Isaac Sim,开发者可以生成海量的逼真训练数据。此外,GR00T-Dreams 等蓝图使用 Cosmos 世界基础模型,通过简单的指令即可创建全新的合成轨迹数据,从而帮助引导策略形成而无需预先提供大量真实世界数据集。
人形机器人需要强大的本体计算能力,以处理多模态数据并在不依赖云连接的情况下确保功能安全。基于 Blackwell 架构构建的 NVIDIA Jetson AGX Thor 承担了这一角色,它具备直接在机器人上运行生成式 AI 和基础模型所需的 AI 性能和低延迟特性。这使得机器人能够在多样化的真实世界环境中自主感知、规划和行动。
快速链接
NVIDIA RTX Blackwell 系列 GPU 可加速各种工业数字化、机器人仿真和合成数据生成工作负载。