NVIDIA DRIVE 视频

NVIDIA DRIVE® 软件团队不断创新,致力于为转变行业且安全可靠的自动驾驶系统开发冗余且多样化的深度神经网络。

体验我们新推出的 AV 创新

选择下面的选项卡,深入了解该流程。

  • NVIDIA DRIVE Labs
  • NVIDIA DRIVE Dispatch

深入探究特定自动驾驶算法的短视频。

 

使用自监督学习大规模重建动态驾驶场景

自动驾驶汽车仿真必须准确地再现真实场景,随着动态场景、多样化和高保真度需求不断增加,实现起来更具挑战性。本期 DRIVE Labs 介绍了 EmerNeRF,一种重建动态驾驶场景的方法。

 

通过 Dynamic View Synthesis 确保动态视角精度

在本期 DRIVE Labs 视频中,我们将深入探讨视角的鲁棒性,并介绍动态视图合成技术的最新进展如何解决感知问题。

 

基于剪枝的 AI 模型优化

HALP (Hardware-Aware Latency Pruning) 是一种旨在调整卷积神经网络 (CNNs) 和基于Transformer的网络结构以实现实时性能的新方法。在本期 DRIVE Labs 视频中,探讨HALP如何优化预训练模型以最大限度地提高计算利用率。

 

为自动驾驶汽车带来先进 3D Occupancy 预测

人类在做决策时,能够自然地感知物体和场景的 3D 几何形状信息。同样,对自动驾驶来说,“3D Occupancy 预测”的概念对开发安全、鲁棒的自动驾驶系统至关重要。在本期视频中,我们将展示超越传统鸟瞰视角方法的 3D 感知技术,该技术赢得了 CVPR 2023 3D Occupancy 预测挑战赛的冠军。

 

增强狭小空间内自动泊车的避障功能

Early Grid Fusion(EGF)是一种可提高自动泊车辅助系统近距离避障能力的新技术。EGF 结合了机器学习摄像头和超声波传感器,能够准确检测和感知周围障碍物,提供 360 度环视。

 

如何通过AI分割模型增强自动驾驶安全性

准确的环境感知对于自动驾驶汽车 (AV) 的安全至关重要,在处理未知条件时尤为明显。在本期 DRIVE Labs 中,我们讨论了名为 SegFormer 的 Vision Transformer 模型,该模型可在保持高效率的同时生成鲁棒的语义分割结果。本视频介绍了 SegFormer 背后的机制,以实现其鲁棒性和效率。

 

为自动驾驶汽车生成基于 AI 的事故场景

本期视频将为大家介绍 NVIDIA 研究人员提出的一种名为 STRIVE(Stress-Test Drive 压力试驾)的新方法,该方法使用生成式 AI 交通模型自动生成自动驾驶仿真中的潜在事故场景。这种方法允许在各种现实情况下安全地大规模测试自动驾驶堆栈的规划部分。

 

使用停车标志辅助功能提升自动代客泊车功能

基于算法的先进停车标志辅助 (PSA) 系统对于自动驾驶汽车了解停车规则的复杂性并做出相应反应至关重要。在本期 DRIVE Labs 中,我们展示了 NVIDIA DRIVE AV 软件堆栈如何利用最先进的 DNN 和计算机视觉算法来改善现实场景中的自动泊车。这些技术可以实时检测、跟踪和分类各种停车交通标志和道路交叉口。

 

AI 实时感知帮助自动驾驶汽车理解限速标志

自动驾驶汽车理解道路限速标志看似是一项简单的任务,但在不同车道适用不同限速标志的情况下,或者在不同国家驾驶时,理解限速标志会变得更加复杂。本期 NVIDIA 自动驾驶实验室展示了基于 AI 的实时感知是如何帮助自动驾驶更好的理解复杂多变的限速标志,其中包括能够阅读的明确速度限制和需要解读的隐含速度限制。

 

AI 如何提高自动驾驶汽车的雷达感知能力

多样化和冗余的传感器,如摄像头和雷达,是自动驾驶感知能力的必要条件。然而,仅利用传统处理技术的雷达传感器可能还不足以完成此项任务。在本期 DRIVE Labs 视频中,NVIDIA 展示了 AI 如何解决传统雷达信号处理在区分移动物体和静止物体方面的不足,从而提高自动驾驶汽车的感知能力。

 

NVIDIA DRIVE IX AI 算法执行直观的车内感知

在本期 DRIVE Labs 视频中,我们演示了 DRIVE IX 如何感知驾驶员的注意力、活动、情感、行为、姿势、言语、手势和情绪。驾驶员感知是平台的一个关键方面,助力 AV 系统确保驾驶员保持警觉并注意道路状况。它还支持 AI 系统执行更直观、更智能的驾驶舱功能。

 

使用软件定义的 AI 优化光源感知

在本期 DRIVE Labs 视频中,我们介绍了如何使用软件定义的 AI 技术,在几周内显著提高光源感知深度神经网络 (DNN) 的性能和功能,例如:增加范围、添加分类功能等。

 

准确前行:AI 如何帮助自动驾驶汽车预测前方路况

自动驾驶汽车依靠 AI 预测交通模式,并在复杂环境中进行安全通行。在本期 DRIVE Labs 视频中,我们演示了 PredictionNet 深度神经网络如何利用实时的感知数据和地图数据来预测其他道路使用者的行驶路径。

 

AI 如何帮助自动驾驶汽车感知交叉路口结构

自动处理交叉路口为自动驾驶汽车带来了一系列复杂挑战。在先前的 NVIDIA 自动驾驶实验室系列中,我们展示了如何利用 WaitNet DNN 检测交叉路口、交通信号灯和交通标志;还展示了如何利用 LightNet 和 SignNet DNN 对交通信号灯状态和交通标志类型进行分类。在本集中,我们会进一步展示 NVIDIA 如何利用 AI 来感知自动驾驶汽车在日常行驶中可能遇到的各种交叉路口结构。

 

主动学习如何改善夜间行人检测

通过主动学习,AI 可以自动选择正确的训练数据。一组专用的 DNN 遍阅一个图像帧池,标记出容易混淆的帧。然后对这些帧进行标记,并将其添加到训练数据集中。此过程可以改善 DNN 在高难度环境条件(例如夜间行人检测)下的感知能力。

 

激光聚焦:多视角 LidarNet 如何为自动驾驶汽车提供丰富视角

用于处理激光雷达数据的传统方法面临着重大挑战,例如检测和分类不同类型的对象、场景和天气状况的能力,以及性能和可靠性方面的限制。我们的多视角 LidarNet 深度神经网络借助汽车周围场景的多个视角或视图来应对这些激光雷达处理方面的挑战。

 

找不到方向了? 定位帮助自动驾驶汽车找到自己的道路

定位是自动驾驶汽车的一项重要功能,可用于计算汽车在地图中的三维 (3D) 位置,包括 3D 位置、3D 方向以及这些位置和方向值中的任何不确定因素。在此 DRIVE Labs 视频中,我们将展示我们的定位算法如何利用大众市场传感器和高清地图实现高准确度和稳健性。

 

AI 如何阅读路上的文字

观看我们如何将 LaneNet DNN 发展为高精度 MapNet DNN。这一演变包括增加检测类,除了车道线检测外,还涵盖道路标志和垂直地标(例如栏杆)。它还利用端到端检测功能,提供更快的汽车内推理。

 

道路上的 AI:利用环绕摄像头雷达融合为自动驾驶汽车消除盲点

AI 能够检测和应对车辆四周的物体,进而提供舒适且安全的驾驶体验。在此 DRIVE Labs 视频中,我们解释了传感器融合流程如此重要的原因。该流程可以结合摄像头和雷达输入,进而实现对周围环境的准确感知。

 

像素级精确的感知:AI 如何帮助自动驾驶汽车看清车外环境

对于高度复杂的驾驶场景,如果自动驾驶汽车的感知系统能够更详细地“了解”周围环境,会对汽车颇有助益。使用我们的全景分割 DNN 方法,我们能够以像素级准确度来分割图像内容,进而获得非常精细的结果。

 

光线太刺眼? AI 如何避免其他车辆的远光眩光

远光灯可以显著增加标准前灯的夜间能见度范围;但是,它们会产生为其他驾驶员造成危险的眩光。我们已经训练了一种基于摄像头的深度神经网络 (DNN)(称为 AutoHighBeamNet),可以自动为车辆的远光灯系统生成控制输出,提高夜间驾驶的能见度和安全性。

 

步入正轨:助力实现可靠自动驾驶的特征跟踪

特征跟踪能以像素级精度预估对应目标和相邻视频帧之间变化,为目标移动/速度预估、摄像头自校准和视觉测距提供重要的时间和几何信息。

 

在寻找停车位? AI 可以提供帮助

我们的 ParkNet 深度神经网络可以在各种条件下检测开放的停车位。观看视频,了解该网络如何处理室内外空间(由单车道、双车道或褪色车道标记分隔),以及如何区分已占用、未占用和部分遮挡的车位。

 

驾驶 NVIDIA 自动驾驶汽车

这期 DRIVE Labs 特别节目展示了 NVIDIA DRIVE 自动驾驶汽车软件如何结合感知、定位和规划/控制的基本组成部分,在我们位于加州圣克拉拉的总部周围的公共道路上自动驾驶。

 

利用 AI 对交通标志和信号灯进行分类

NVIDIA DRIVE AV 软件使用 DNN 组合来对交通标志和信号灯进行分类。了解我们的 LightNet DNN 如何对信号灯形状(例如,实心圆与箭头)和状态(即颜色)进行分类,SignNet DNN 如何对交通标志类型进行分类。

 

利用 Safety Force Field 避免碰撞

我们使用 Safety Force Field (SFF) 防撞软件单独监控车辆主规划和控制系统的操作。SFF 会对主系统选择的控件进行双重检查,如果检查结果为控件不安全,SSF 将否决主系统的决策并对其进行更正。

 

高精度车道检测

深度神经网络 (DNN) 处理现已成为一种重要的基于 AI 的车道检测技术。我们的 LaneNet DNN 通过像素级精度提升车道检测范围、车道边缘召回和车道检测可靠性。

 

感知全新维度

在丘陵地带,使用单个摄像头提供的图像数据计算距目标的距离颇具挑战性。借助深度神经网络,自动驾驶汽车可以通过 2D 图像测算出 3D 距离。

 

摄像头全方位视觉

了解我们如何使用六摄像头配置 360 度查看车辆周围的情况,以及如何追踪周边环境中移动的对象。

 

使用 RNN 预测未来

自动驾驶汽车必须使用计算方法和传感器数据(例如一系列图像)来及时确定目标移动的方式。

 

ClearSightNet 深度神经网络

ClearSightNet DNN 经过专门训练,可评估摄像头能否清晰观察,并确定遮蔽、阻挡和可见度降低的原因。

 

WaitNet 深度神经网络

了解 WaitNet DNN 如何能够在不使用地图的情况下检测交叉路口。

 

路径感知集成

这三个 DNN 可构建主路和车道线以及更改/分离/合并车道的置信度,并对其进行评估。

来自我们 AV 车队的简短更新,重点介绍新的突破。

 

2023年十一月

在最新一期的 NVIDIA DRIVE Dispatch 中,了解如何通过一次驾驶生成 4D 重建,以及可用于预测自动驾驶汽车应用中道路代理的下一步行动和轨迹的深度神经网络 (DNN)——PredictionNet。还将介绍使用 NVIDIA DRIVE Sim 进行新车评价规程 (NCAP) 测试的情况。

 

2023年一月

从 NVIDIA DRIVE 查看自动驾驶汽车感知的最新进展。在本次调度中,我们在停车场等低速区域使用超声波传感器检测周围物体的高度。 RadarNet DNN 检测可驾驶的自由空间,而立体深度 DNN 估计环境几何。

 

2022年二月

DRIVE Dispatch 回归,推出第 2 季。在本期视频中,我们将展示基于端到端雷达 DNN 的集群、Real2Sim、驾驶员和乘客监控等方面的进展。

 

2021年七月

本期视频了解以下方面的新进展:交通运动预测、道路标记检测、3D 合成数据可视化等。

 

2021年六月

本期视频了解以下方面的新进展:可行驶路径感知、摄像头和雷达定位、停车位检测等。

 

2021年三月

在本期 NVIDIA DRIVE Dispatch 视频中,我们演示了以下方面的进展:旨在改进 DNN 训练的合成数据、用于预测未来运动的雷达感知、面向众包高清地图的 MapStream 创建等。

 

2021年二月

了解以下方面的近期进展:DepthNet、道路标记检测、多雷达自我预估、交叉摄像头特征跟踪等。

 

2021年一月

探索以下方面的进步:停车位检测、地标检测中的 3D 位置、使用自动生成的 MyRoute 地图和道路平面的首次自动驾驶以及暂停预估。

 

2020年十一月

查看以下方面的进展:摩托车分类和避让、红绿灯检测、2D 立体稳定性、摄像头注释的 3D 自由空间、激光雷达感知管线以及车头灯/尾灯/路灯感知。

通过 NVIDIA 汽车时事通讯,直接在收件箱中获取近期的 DRIVE 信息。