传感器仿真是什么?

传感器仿真对真实世界传感器的物理属性和行为进行建模，以再现其感知周围环境的过程。该技术使开发者能够拥有一个安全的试验场，来训练、测试和验证用于机器人、汽车和工业应用的物理 AI 模型。

机器人和自动驾驶汽车 (AVs) 等自主系统依赖于复杂的多维 AI 模型，使用传感器数据来感知和回应周围环境。

为自主系统开发物理 AI 算法需要大量的数据来代表现实世界条件的多样性和不可预测性。 但是，收集和标注大量有用的真实世界传感器数据耗时耗力且成本高昂。 此外，由于安全问题，要收集现实世界中危险场景的数据困难重重。

传感器仿真提供了一种安全、可控和可扩展的方式来训练、验证和测试需要大量数据的模型，并加速物理 AI 的开发。

传感器仿真渲染基于物理环境，开发者可通过无数逼真的“假设”场景运行自主模型，进行可靠的训练和测试。 由于机器人、自动驾驶汽车和智能工厂对传感器数据的精确性和与环境的交互要求甚高，因此，传感器仿真对其至关重要。

虚拟环境中的仿真传感器以多种方式简化了物理 AI 开发：

仿真可以用于生成合成数据和新变体，可从真值数据中捕获现实世界场景的多样性。 多样化的数据集使模型能够推广到各个领域，从而提高它们在不同环境和用例中运行的有效性。

传感器仿真可以对自主机器如何感知其环境的各个方面进行模拟，而无需进行真实世界的交互。 这包括任意给定场景的外观、行为和内容，以及传感器噪音、遮挡、来自其他智能体的不利操纵以及严酷的照明和天气条件。 通过在安全、可扩展的环境中进行软件在环和硬件在环测试，开发者可以全面验证并改进其系统，确保在部署前提高安全性和可靠性。

传感器仿真减少了对昂贵的大规模数据采集和标注数据的依赖，以及测试和验证所需的物理原型数量。

传感器仿真使开发者能够配置虚拟世界，使用自动化工作流进行快速迭代，以提高性能并缩短端到端开发时间。 此外，传感器仿真使开发者能够在物理传感器可用之前对完整的解决方案进行原型设计。

虚拟传感器的仿真必须反映真实世界传感器的物理属性和行为，具有一定程度的保真度，提升开发者信心，使用模拟传感器数据来增强和扩展现有的真实世界工作流。

扩展和维护传感器仿真解决方案，以与其他传感器或新功能相整合，例如高级渲染功能或复杂的传感器行为（如非视觉传感器的多次反射、多路径光线追踪效果），这些任务通常需要大量的技术专业人员。

传感器仿真解决方案能够实现物理 AI 开发所需的精确性和可扩展性，但构建和维护成本可能很高。 这通常意味着需要建立大规模的基础设施，并且需要能够管理整个软件和硬件堆栈的团队。

传感器仿真解决方案通常在复杂硬件上使用定制软件包构建，需要特定的领域专业知识。 目前没有即插即用解决方案，可以让开发者轻松地将现有的仿真工作流与传感器仿真相连，并训练/测试他们的物理 AI 系统。

高效的传感器仿真包括以下组件：

开发者可以利用包括操作环境的 3D 模型的数字孪生技术。这些环境可能包括具有材料和视觉属性的车辆、人、机器人、工厂或街道。 数字孪生还应包括物理现象，例如光如何与物体交互。 这种详细的表达让传感器模型与周围环境进行交互，并提取真值标签，用于训练和测试物理 AI。

在仿真环境中，开发者必须定义 3D 场景中智能体基于物理的行为，包括光和物质。 这包括精确模拟行人行走、箱子从架子上掉下来，或者移动车辆或机器人的动态等动作。 每个实体都应符合物理定律，确保真实现实行为，并生成精确的传感器输出。

传感器仿真模型模拟传感器工作流中的每一步，以准确地模拟真实世界传感器的物理和行为。 这一工作流包括光和无线电波的行为，每个传感器中的发射器和接收器的行为，以及每个传感器特定的其他内部作业，如机械激光雷达或相机上的滚动快门的旋转。 各种物理现象，如多次反射、多路径射线效应、多普勒、透镜的光失真、图像数据中的动态模糊、低光噪声等都是缩小仿真与真实数据之间的域间隙的重要方面。

车辆或自主机器每次遇到的场景都不会完全一致。光照和天气等因素总是在不断变化，并会影响自动驾驶汽车感知周围环境的方式。基础世界模型可将此类变量无缝融入已有的渲染场景中。这些模型可以在基于物理的传感器仿真中生成新的数据，如光照和天气条件、地理位置以及静态物体，从而将一个场景转变为数百个。

传感器仿真可以使任何使用自主机器或依赖于传感器设备的行业受益。

仿真是自动驾驶汽车开发工作流的基础组件。尤其是传感器仿真，对于测试和验证基于高保真物理传感器数据的感知和规划堆栈至关重要。

具体而言，开发者可以在传感器仿真中重复真实世界的驾驶体验。 由于能够精确地重复驾驶，开发者可以对性能进行基准测试，衡量堆栈是正在改善还是倒退，并全面测试自动驾驶汽车和驾驶员辅助系统。

传感器仿真还可为训练自动驾驶汽车的深度神经网络提供试验场，从而提高车辆感知能力。 这些网络可以持续接触多样化的新数据集，优化其准确理解周围环境的能力。 传感器仿真也可用于开环数据生成，通过创建多样化的数据集，以更高难度对自动驾驶汽车进行检验。

最后，开发者可以在具备动态响应的安全关键型平台上执行闭环测试。 通过大规模、高性能运行的高保真传感器闭环仿真，自动驾驶汽车开发者能更快实现预检定位、调试和新功能的开发。从而帮助开发者验证自动驾驶系统，实现在现实世界的部署。

依赖感知的机器人可实现对传感器仿真工具的充分利用。 

自主移动机器人 (AMR) 在工厂和仓库中已屡见不鲜，常被用于举起产品和运输物品。 与自动驾驶汽车一样，这些 AMR 配备有大量传感器，必须能了解周围环境并安全移动。

人形机器人基于人类的形态和功能设计，并依靠多个传感器实现在不同环境下的穿行，以及与各种物体互动。这些机器人在现实世界中投入使用之前，传感器仿真对其在不可预测环境下的测试和能力强化发挥着至关重要的作用。

机器人开发者使用传感器仿真进行姿势预估，使机器人机械臂或手臂能够正确地抓取物体。传感器仿真还用于光学检测用例中的 AI 模型微调，例如检测装配线上的缺陷品以及对物品分类。

传感器仿真可用于训练为仓库、机场、医院等智慧空间提供支持的 AI 模型。

开发者可对一系列应用进行感知模型的训练，从工人安全到自主移动机器人的路线规划和车队优化，再到库存管理。 

传感器仿真可用于验证各种AI机器人和摄像头在物理场所的虚拟表现中的性能。 这使得可以在单一统一的空间内对不同的自主机器进行可扩展的测试。

先进的超声波和内镜医疗设备依赖于传感器检查，以及从临床边缘设备捕获医疗数据并以流媒体方式传输数据。 这些设备需要极高的准确性和精度，特别是用于诊断或外科手术中。 传感器仿真能够训练、测试和校准医疗设备，实现手术精确性，从而降低错误或误诊的风险。

NVIDIA 提供了支持传感器仿真工作流的一整套工具。

NVIDIA Omniverse™ 平台提供了各种 API、SDK 和服务，可帮助开发者轻松将 通用场景描述 (OpenUSD) 和 NVIDIA RTX™ 渲染技术集成到现有软件工具和仿真工作流中，以构建这些 3D 环境。

NVIDIA Omniverse Cloud Sensor RTX™ 作为一整套微服务，可实现物理层面精准的传感器仿真，加速各种全面自动化机器的开发。Omniverse Cloud Sensor RTX 基于 OpenUSD 框架并由 NVIDIA RTX™ 光线追踪和神经网络渲染技术提供支持，可加快为自主机器中使用的摄像头、激光雷达和雷达生成高保真传感器数据，从而以安全、可重复的方式训练和验证物理 AI。