理想汽车如何借助 NVIDIA Omniverse™ NuRec 将 ADAS 仿真覆盖范围扩大一倍

要将涵盖多模态传感器的闭环仿真扩展至生产级质量，需要解决三个相互叠加的制约因素：

除摄像头画面外，激光雷达点云也是 ADAS 算法的重要输入。传统 3D 高斯溅射 (3D Gaussian Splatting) 方法并非针对激光雷达数据进行优化。若分别维护摄像头与激光雷达的重建模型，不仅会增加工程负担，还难以确保多传感器仿真的一致性。

在生产规模下处理驾驶日志需要极高的重建吞吐量。单场景重建耗时过长，会成为事故回放、算法回归及闭环仿真迭代速度的瓶颈。

真实道路场景通常空间范围大、视角采样相对稀疏。如果缺少对未见摄像机角度的训练信号，重建模型容易过度贴合已采集视角，难以形成稳定、可泛化的 3D 表示，进而影响仿真结果的可靠性。

理想汽车通过将 NVIDIA Omniverse NuRec 的功能集成到自研闭环仿真平台中，开发出了内部场景重建解决方案。NuRec 可将原始行驶日志转化为重建后的 3D 场景，并生成高保真的摄像头与激光雷达传感器渲染画面。该流程集成了以下四项 NuRec 功能：

NuRec 中的 3D Gaussian with Unscented Transforms (3DGUT) 表示方式，可用同一组高斯粒子同时建模并渲染激光雷达点云与图像帧。这样无需分别构建摄像头和激光雷达两套流程，既降低工程复杂度，也提升了跨模态仿真的一致性。

通过结合 DDP 与 FSDP 的并行训练策略，理想汽车可以将 3D 高斯粒子分布到多张 GPU 上进行训练，从而加速大规模 ADAS 行驶场景重建，并支持动态和可变形对象处理。在 8 卡 GPU 配置下，相比单 GPU 基准可实现约 4 倍加速。

Asset Harvester 流程可将真实行驶日志中较为稀疏的对象观测转化为更完整的 3D 资产，从而提升新视角下的画面质量和场景完整性。理想汽车训练并部署了自研 TokenGS 模型，基于内部数据集支撑这一资产生成工作流。

NuRec 基于扩散技术的 Harmonizer 模型可修正新视角合成中的伪影，并提升插入资产与 NuRec 重建场景在外观、色彩和阴影方面的连贯性。由此生成的闭环仿真场景视觉一致性更好，可用于 ADAS 算法训练与评估。