人形机器人

加快先进 AI 机器人开发。

Apptronik

工作负载

机器人



行业

医疗健康和生命科学
制造业
零售 / 消费品

业务目标

创新
投资回报

概览

物理 AI 的新时代

通用人形机器人专为快速适应现有的以人类为中心的城市和工业工作空间而构建,用以承担枯燥、重复性或对体力要求高的工作任务。 

这些机器人正在从工厂车间走向医疗健康机构,通过自动化帮助人类工作,缓解劳动力短缺问题。

但是,构建人形机器人涉及多层复杂性并面临艰巨的工程挑战。这些挑战涵盖模拟人类的感知、自由度、灵巧性、移动性、认知功能和全身协调控制等方面。

这要求加快机器人研究领域和技术的发展,包括人工智能、机器学习、基于物理的仿真、传感器技术、嵌入式计算和机电一体化。

Figure

NVIDIA 发布面向学术研究的 NVIDIA Isaac GR00T 人形机器人参考平台

首款基于 NVIDIA Jetson Thor 和 Isaac GR00T 开放开发平台打造的开放人形机器人参考设计。

快速链接


技术运用

推进人形机器人开发

NVIDIA 正在开发加速系统、蓝图、工具、服务、算法和其他机器人技术,以构建符合人类形态规格的通用机器人。

三台计算机解决方案

人形机器人需具备在特定环境中自主感知、规划与行动的能力,这要求其能实时处理海量数据。这需要训练支撑机器人大脑的基础模型,对机器人大脑进行仿真和验证,并最终将优化后的大脑和相关软件部署到实体机器人上。 

这三种 AI 系统为: 

NVIDIA Isaac GR00T

NVIDIA Isaac GR00T 是一个面向通用人形机器人的开放参考平台,使开发者能够构建、训练、测试和部署 AI 赋能的机器人。

机器人基础模型

人形机器人需要掌握多种技能以执行各种任务,这在传统上需要独立、成本高昂的 AI 模型。机器人基础模型通过基于广泛的数据进行训练,发展出可泛化的技能,解决了这一问题。这使得机器人能够适应不同的任务和环境。

Isaac GR00T 开放基础模型非常适合通用人形机器人的推理和技能。这种跨具身解决方案采用多模态输入 (包括语言和图像),在不同的环境中执行操作任务。

这些模型基于一个庞大的人形数据集进行训练,该数据集包含真实采集的数据、合成数据和互联网规模的视频数据。这些模型还可通过针对特定具身、任务和环境的后训练来进行适配。

Isaac GR00T 模型可以轻松泛化到常见任务 (例如抓取、用单臂或双臂移动物体,以及将物品从一只手臂转移到另一只手臂),或者执行需要长上下文和通用技能组合的多步任务。这些能力可以应用于多种用例,包括物料搬运、包装和检查。

机器人学习和仿真框架

对于开发者来说,要在将人形机器人部署到现实世界中之前,能够在各种物理精准的环境和条件下对它们进行训练,仿真是关键。

机器人学习和仿真框架,如基于 Omniverse 平台构建的 NVIDIA Isaac SimIsaac Lab,能够进行物理精准的仿真,从而并行训练和验证多个人形机器人智能体。

Isaac Lab 是一个基于 Isaac Sim 构建的开源统一机器人学习框架,为机器人策略训练提供高效的学习技术支持。然后,训练后的机器人策略可以在 Isaac Sim 中进行验证,Isaac Sim 是一个基于物理的虚拟环境平台,专用于构建、模拟和测试人形机器人参考应用。

新一代机器人本体计算平台

机器人硬件对于运行多模态 AI 模型集群也至关重要,这些模型可在不同条件下为人形机器人提供所需的性能、低延迟和功能安全保障。 

基于 NVIDIA Blackwell GPU 架构的 NVIDIA Jetson AGX Thor 提供超高性能的 AI 计算和全新的 Transformer 引擎。这在边缘提供了必要的 AI 超级算力,以赋能新一代人形机器人。


生态系统

在我们人形机器人开发合作伙伴帮助下开启使用旅程

入门

开发人形机器人

通过访问教程、论坛、版本说明和全面的文档,利用 Isaac GR00T 基础技术推动人形机器人开发。

常见问题解答

人形机器人被设计用于在以人类为中心的空间中工作,在工厂、仓库、医院和零售环境中承担繁琐、重复或体力要求高的任务。短期内,这包括物料搬运、拣选和放置物品、机器看护、基本检查,以及协助工人抬起、搬运或运输货物。

NVIDIA Isaac 技术提供端到端技术栈,用于训练、仿真和部署人形机器人的“大脑”。这包括使用 Isaac GR00T 开放模型进行泛化推理。开发者还可以利用开源机器人学习框架 Isaac Lab 实现快速迭代、跨具身复用技能,并在将策略部署到硬件之前在 Isaac Sim 中进行验证。

团队可以在进行任何物理部署之前,利用仿真在真实设施的数字孪生中训练和测试人形机器人,这样可以评估行为、极端场景和故障模式,而不会使人员、设备或机器人面临风险。这种仿真优先的方法降低了对昂贵的物理原型和大规模现场测试的需求,有助于更早发现集成问题并缩短部署周期。

NVIDIA 的平台旨在通过将有限的真实世界演示与大规模合成数据和仿真相结合,来填补机器人数据缺口。利用开源的 Isaac Lab 框架和 Isaac Sim,开发者可以生成海量的逼真训练数据。此外,GR00T-Dreams 等蓝图使用 Cosmos 世界基础模型,通过简单的指令即可创建全新的合成轨迹数据,从而帮助引导策略形成而无需预先提供大量真实世界数据集。

人形机器人需要强大的本体计算能力,以处理多模态数据并在不依赖云连接的情况下确保功能安全。基于 Blackwell 架构构建的 NVIDIA Jetson AGX Thor 承担了这一角色,它具备直接在机器人上运行生成式 AI 和基础模型所需的 AI 性能和低延迟特性。这使得机器人能够在多样化的真实世界环境中自主感知、规划和行动。

RTX PRO 系列 GPU — 适用于工业和物理 AI 的出色平台

NVIDIA RTX Blackwell 系列 GPU 可加速各种工业数字化、机器人仿真和合成数据生成工作负载。

新闻

资源

合成数据

通过创建物理精准的虚拟场景和对象来训练 AI 模型,从而缩小仿真与现实的差距,同时节省训练时间和成本。

机器人学习

将强化学习和模拟学习技术应用于任何类型的机器人实施例,并使用开源机器人学习框架 NVIDIA Isaac Lab 构建机器人策略。

仿真

Isaac Sim 是一个基于 NVIDIA Omniverse 构建的机器人仿真框架,用于为人形机器人训练提供高保真的真实感仿真环境。

机器人和边缘 AI

使用 NVIDIA 工具、库和三台计算机解决方案加速人形机器人开发 — 使用 NVIDIA DGX™ 进行 AI 训练,使用 OVX™ 进行仿真,使用 Jetson AGX 将多模态 AI 部署到人形机器人上。

 

相关用例