AI 驱动的多摄像头追踪

在城市、仓库、工厂和零售运营中,通过摄像头匿名追踪并识别目标。

工作负载

计算机视觉/视频分析
边缘计算
机器人开发

行业

智慧城市/空间
零售/消费品
制造业
医疗健康和生命科学

业务目标

投资回报
风险缓解

Why [Use Case]

为什么要使用多摄像头追踪?

想象这样一个世界:工厂以卓越的安全性和效率实现自动化运行,零售空间围绕购物体验进行优化,医院、机场和校园等公共空间更加安全和井然有序。这些空间太大,单个摄像头无法覆盖,因此通常需要数百个相互重叠的摄像头进行监控。跨摄像头和空间精确跟踪物体并测量活动被称为多摄像头追踪,可让您更有效地监控和管理您的空间。

多摄像头追踪非常重要,因为它将孤立的摄像头信号整合为统一的智能感知系统。 通过将观测结果链接到不同视图中,它能够减少盲点、提升事件检测效率,并实现更丰富的分析,例如人流、停滞时间和跨区域行为。 而这些仅凭单一视角无法可靠实现。 在实际应用中,这意味着可实现更高效的安全响应,零售业更智能的人员配置和布局决策,以及大型设施更高效的运营。

借助多摄像头追踪,您可以:

  • 通过单一互连视图,即可查看整个站点的所有内容。
  • 更快地响应安全和安保问题。
  • 利用移动模式优化布局和运营。
  • 通过自动执行常规监控来降低成本,同时覆盖更广泛的区域。

在这一多摄像头仓库示例中,顶部视角摄像头和侧视摄像头会在整个设施范围内追踪工人、叉车和 AMR,并为每一条通道提供实时态势感知。

各行业如何利用多摄像头追踪

制造和仓库自动化:通过优化自动化机器人、设备和工人的路线,提高生产车间运营效率。AI 赋能的分析功能有助于识别拥堵、瓶颈和风险,从而做出数据驱动的决策,提高生产力,改善员工安全以及机器人安全

零售店布局优化:通过分析顾客在店内的移动路径,您可以重新配置通道和产品陈列位置,更大限度地提高销售及收入。多摄像头追踪有助于识别瓶颈、追踪客户行为并模拟布局场景以预测对销售和客户体验的影响。

智慧城市:利用多摄像头追踪技术,监控十字路口、交通枢纽和公共场所中的交通流量与行人流动情况。这有助于城市运营商降低拥堵、提高公共安全性,并优化城市规划决策。 

住院患者护理:对医院内的患者进行持续监控,进一步提升安全性。该解决方案可实现实时警报和通知,确保在需要时及时得到关注和照料。

多摄像头追踪参考工作流

借助 NVIDIA DeepStream SDK,探索适用于多视图 3D 追踪 (MV3DT) 的多摄像头跟踪示例应用。

什么是多摄像头追踪?

想象一下这样一个世界:工厂安全高效地自动运行,零售空间针对购物体验进行优化,医院、机场、校园等公共空间更加安全、运转更加顺畅。这些空间面积过大,单个摄像头无法覆盖,因此通常会配备数百个摄像头进行监控。跨摄像头和空间追踪物体并准确测量活动的技术称为多摄像头追踪,可让您更有效地监控和管理空间。

AI 赋能的多摄像头应用开发

NVIDIA 的可定制多摄像头跟踪工作流为您提供了一个起点,无需从头开始即可进行开发,并节省数月的开发时间。该工作流还提供了经过验证的生产路径。

该解决方案包括在真实与合成数据集上预训练的先进 AI 模型,您可以根据您的用例进行自定义。它涵盖了从仿真到分析的整个生命周期,并集成了 NVIDIA 的先进工具,包括 Isaac Sim™、Omniverse™、TAO 和 DeepStream。该工作流包含实时视频流模块,并基于可扩展的原生云微服务架构。无需额外费用,仅需基础设施和工具许可证。此外,您还可以通过 NVIDIA AI Enterprise 获得专家支持以及新的产品更新,以加速您的视觉 AI 项目。

如何使用多摄像头跟踪?

制造与仓储自动化:通过优化自主机器人、设备与工人路线改善车间运营。AI 赋能的分析功能有助于识别拥堵、瓶颈和风险,从而做出数据驱动的决策,提升生产力并改善员工安全。 

零售商店布局优化:通过分析顾客在店内的行动路线,重新规划货架通道与商品陈列位置,实现销售额增长与利润最大化。多摄像头跟踪技术能够助力识别店内拥堵区域、跟踪顾客行为,并模拟不同的布局场景,从而预测其对销售额和顾客体验产生的影响。

住院患者护理:持续监控医院内的患者,进一步提升安全性。该解决方案可实现实时警报和通知,确保在需要时及时获得关注与关怀。

将实时 AI 与数字孪生相融合

适用于多摄像头跟踪的端到端工作流程

技术实施

体系架构示意图

NVIDIA DeepStream Multi-View 3D Tracking (Mv3DT) 体系架构旨在简化在统一容器化应用中从单摄像头追踪向多摄像头追踪的迁移。

  • 提取和推理:从您现有的 DeepStream 工作流入手,或使用参考应用。 Mv3DT 的一个关键优势在于,标准的 DeepStream 工作流可轻松升级,以支持多摄像头追踪。该系统非常灵活,支持使用 2D 和 3D AI 检测器进行初始目标检测。

  • 多视图 3D 追踪核心:这是该系统的引擎。 对于每个摄像头 (从 Cam 1 到 Cam N),它都会执行 3D 目标投影、状态估计和姿态估计。

  • 融合与同步:跟踪器通过 MQTT Broker 使用跨摄像头通信,处理每个摄像头的实时位置。 这使得多视图关联与融合成为可能,确保来自不同视角的数据融合为同一个准确的目标。

  • 输出和可视化:系统提供两种输出:
    • 实时视图:通过屏幕显示 (OSD) 将追踪数据叠加到原始视频画面上。
    • 鸟瞰视图:基于 Kafka Broker 的 2D 平面地图,将目标位置元数据实时流传输至可视化工具。

借助面向视频搜索与总结 (VSS) 的 NVIDIA Blueprint,您可以构建视频分析 AI 智能体,它们不仅能够理解视觉内容,还能执行高级多摄像头追踪任务。在 DeepStream 的驱动下,这些智能体能够追踪在多个同步摄像头视图中移动的同一物体。这既保持了一致的身份,又实现更丰富的跨摄像头洞察,例如端到端路径、停留时间和唯一计数。

开始使用

要使用 DeepStream Mv3DT 构建和定制 AI 赋能的多摄像头追踪解决方案,请遵循以下四个阶段:

  1. 设置 (准备环境):安装具有重叠视野的摄像头,确保至少两个视图覆盖关键区域,以有效处理遮挡。
  2. 验证 (测试参考应用):利用合成数据运行 Mv3DT 参考应用,以验证软件栈 (DeepStream SDK、MQTT 和 Kafka Broker) 是否正常运行。
  3. 标定 (自动标定):使用 Auto Magic Calibration (AMC) 工具执行离线摄像头标定流程,生成追踪核心所需的投影矩阵。
  4. 部署和定制:将 Mv3DT 集成到您自己的工作流中,将实时 3D 追踪可视化,并使用 DeepStream Copilot 根据您的需求快速定制应用代码。

常见问题解答

您可使用 DeepStream 的多摄像头追踪,统一来自多个标准 IP 摄像头的数据,实现设施范围的可视化。该系统对重叠视野进行协调,确保每个人员或资产在摄像头之间移动时保持一致身份,并输出统一的 3D 位置数据。它可在 NVIDIA 硬件上轻松扩展,涵盖从边缘设备到数据中心 GPU 的部署形态。

是的,基于视觉的追踪为传统 RTLS 技术 (例如 Wi-Fi、Bluetooth 信标、UWB 或 RFID) 提供无标签替代方案。基于摄像头的系统可借助计算机视觉直接追踪目标,无需人力或资产携带设备。 NVIDIA DeepStream 的多摄像头追踪技术可在全局参考坐标系中输出实时 3D 坐标,提供与基于标签的系统相当的位置数据,无需为每个被追踪对象承担硬件成本,也无需进行电池维护,或要求对象必须携带标签。

DeepStream 的多视图 3D 追踪采用分布式协议,让具有重叠视野的摄像头通过轻量级 MQTT 消息传递自动协商并传播全局 ID 来保持物体 ID 的一致性。 当某个物体出现在新摄像头的视图中时,系统会利用 3D 位置关联技术将其与相邻摄像头中的轨迹片段进行匹配,无需中央服务器。该系统还包含自动纠错功能,用于纠正在跨摄像头切换过程中出现的 ID 遗漏或错误分配问题。

DeepStream 支持灵活的部署选项,涵盖边缘设备、数据中心或混合配置。 该系统的分布式设计可在本地处理数据,而不是集中传输所有视频,从而降低带宽需求,从而支持扩展摄像头数量,同时避免形成性能瓶颈。

NVIDIA DeepStream 不依赖特定检测器,支持任何能够输出边界框的模型。 您可以使用 YOLO 和 Faster R-CNN 等标准架构、使用 NVIDIA TAO 工具套件训练的模型,或您自己的定制模型。 由于追踪在检测的下游运行,您可以选择或替换最适合具体应用场景的检测器。

开始体验

构建此应用案例

加速多摄像头追踪 AI 应用的开发。

相关用例