Lightwheel 是一家以仿真为先的机器人解决方案供应商,致力于解决物理 AI 的两大关键难题:因昂贵的现实世界数据采集而导致的数据稀缺,以及仿真与现实之间的差距,即在仿真环境中训练的策略无法转化到物理硬件上。为帮助机器人制造商克服这些挑战,Lightwheel 利用 NVIDIA Omniverse™、Isaac Sim™、Isaac™ Lab 和 Isaac GR00T N1.5 视觉语言操作基础模型创建了 Lightwheel 仿真平台 - 一种以仿真为先的工作流,可弥合研究与现实世界机器人部署之间的差距。
AgiBot
BYD
ByteDance
Figure
Fourier
Galbot
Geely
Google Deepmind
Zordi
Lightwheel
机器人开发
NVIDIA Isaac
NVIDIA Omniverse
具身智能和机器人开发行业面临两个基础障碍:数据稀缺性和仿真与现实的差距。现实世界数据采集仍然缓慢且成本高昂,制约了开发速度,并限制了智能辅助驾驶系统所需的训练数据集。仿真与现实之间的差距同样存在严峻的挑战,即在仿真环境中训练的 AI 策略无法在物理硬件上转化为可靠的性能。
对于机器人开发研究人员、开发者以及在制造、医疗健康、物流和农业领域部署辅助驾驶系统的行业而言,这些挑战造成了严重的运营限制。传统方法需要进行大量的物理原型设计、昂贵的实际测试和耗时的数据收集 - 这严重限制了创新速度,增加了开发成本,同时制约了先进 AI 系统在实际应用中的部署。
Lightwheel
Lightwheel
为克服这些挑战,Lightwheel 开发了 Lightwheel 仿真平台——一款基于 NVIDIA Omniverse、Isaac Sim 和 Isaac Lab 构建的综合解决方案,通过三个核心组件解决具身化 AI 的开发问题。
Lightwheel 提供专为先进机器人开发仿真而设计的高质量 SimReady 资产。这些资产采用精确的几何图形和物理属性设计,针对从远程操作数据采集到强化学习的各种用例进行优化,确保它们不仅具有物理效果,而且还具备远程操作和机器人学习的能力。
为了最大化兼容性,SimReady 资产针对 Omniverse 是以通用场景描述(USD)格式提供,而 MJCF 格式的 Isaac Sim 则是用于 MuJoCo。这种灵活性使团队能够在其首选仿真环境中加速开发。 支撑该资产库的是 Lightwheel 的仿真框架,该框架无缝集成了 Isaac Sim。
Lightwheel 通过 VR 头显 (Apple Vision Pro、Meta Quest)、Space Mouse 和外骨骼解决方案实现高质量的远程操作数据采集,提供鲁棒的质量保证。该平台将 MimicGen 和 DexMimicGen 与 Lightwheel 的 SimReady 资产、环境和 Isaac Sim 相结合,可泛化远程操作的仿真数据,将合成数据的价值扩展 100 到 1000 倍。
为了生成这种多样化的训练数据集,操作员通过复杂的工业任务控制仿真的 Unitree H1 人形机器人,包括使用 Dex Hand 操纵圆柱形组件以及在汽车环境中提起重型托盘的双臂协调。这些数据包括 RGB 图像、关节状态、GPT 生成的任务说明和场景元数据。 这一鲁棒的训练过程带来了优秀的下游性能,验证了具身智能基于仿真工作流的有效性。
通过利用 GR00T N1.5 视觉语言操作(VLA)基础模型,Lightwheel 以从 SimReady 环境中仿真生成的合成数据对模型进行微调。 这些数据包括 RGB 图像、关节状态、GPT 生成的任务说明和场景元数据。 最终模型展示了优秀的下游性能,突显了合成数据在训练具身智能方面的有效性。
Lightwheel 仿真平台采用了严格的两阶段质量保证:自动验证视觉真实性和标注数据完整性,然后手动审核物理约束条件下的逼真行为。
对于吉利汽车的部署,该团队进一步定制 GR00T N1.5 与 Unitree H1 机器人的特定形态结构,利用工厂优化的提示定制视觉语言规划器。 他们使用 Isaac Sim 和 DexMimicGen 数据增强技术,将训练多样性扩展到各种光照、材质和物体放置位置,在多变的工厂状况下实现了可靠的性能。
Lightwheel
Lightwheel 的 NVIDIA 赋能仿真平台在开发速度、部署成功和现实世界性能方面实现变革性改进,为工业应用中的具身 AI 开发树立了新的标竿。
这种仿真为先的方法通过在虚拟环境中快速迭代,将开发周期从几个月缩短到几周。100:1 的仿真与真实数据比率去除了昂贵的现实世界数据采集,同时保持了可靠的从仿真到真实数据传输所需的物理模型精度,以最少的人工干预生成可扩展的高质量合成数据。
Lightwheel 在实际吉利汽车工厂的 Unitree H1 人形机器人中成功部署了 GR00T N1.5 基础模型。机器人自主执行工作站之间的组件运输、将零件精确放置到检查托盘上以及协调双臂操作重型组件,同时在与人类员工共事的多变环境中保持平衡。这些部署展示了朝着具备在多种工作流程中可扩展的鲁棒工厂级自主能力迈出的重要进展。
Google DeepMind、Figure、AgiBot、ByteDance、Geely 和 BYD 等主要技术合作伙伴利用 Lightwheel 仿真平台资产和合成数据集来提高机器人开发和自动化应用中的 AI 性能。该平台与 NVIDIA 更广泛的生态系统集成,成就了合成数据生成端到端的服务链,同时为机器人开发行业开辟了新的收入来源。
进行中的开发专注于扩展平台的可变形对象建模功能,构建用于通用任务的 SimReady 资产,以及利用 GR00T N1.5 作为半自主演示器扩展数据生成管道,进行初始任务的大规模演示。
Lightwheel 与 NVIDIA 的合作展示了先进的仿真平台和基础模型如何转变具身智能的开发,将理论研究转化为实用、可部署的机器人开发解决方案。他们成功在多变的汽车制造环境中部署了由 GR00T N1.5 赋能的人形机器人,展示了仿真优先策略如何为工厂车间实现鲁棒且可扩展的自动化。
这种全面的方法展示了公司如何利用 NVIDIA 的 AI 生态系统克服机器人开发中的传统障碍,实现前所未有的速度和成本效益,并从汽车制造到新一代机器人开发等各行业的成功部署。
“通过利用 NVIDIA AI 技术,我们成功利用自己的高质量合成数据和现实世界数据对视觉-语言-动作基础模型进行微调,并将其部署在真正的机器人上。利用 GR00T N1.5,我们使机器人能够在多变的现实环境中理解复杂的指令并执行多功能任务 - 而这些在过往是不可能实现的。”
Jay Yang
首席架构师
了解 NVIDIA Isaac Sim 如何通过逼真的仿真环境加速您自己的仿真到现实的机器人开发。