视频分析 AI 智能体

借助能够看、推理并采取行动的视觉 AI 智能体,将实时视频转化为实时运营智能。

工作负载

计算机视觉 / 视频分析
生成式 AI / LLM
边缘计算

行业

制造业
智慧城市 / 空间
零售 / 消费品
传媒娱乐
医疗健康和生命科学

业务目标

投资回报
创新

概览

AI 智能体相较传统视频分析有哪些优势?

摄像头可截取全球各地的运营画面,但超过 99% 的视频素材从未被观看 —— 使得安全风险、低效问题以及各种潜在机遇未被察觉。视频分析智能体由视觉语言模型 (VLM) 提供支持,不仅能够检测预定义的物体和事件,还能够理解正在发生的事情、推理并采取行动。从头开始构建这些智能体需要集成视频处理、模型训练、验证和部署,这是一项复杂的开发工作。NVIDIA 利用 NVIDIA Cosmos™ 等开放模型、加速库和技能,简化整个开发生命周期中的工作。这些基础模组帮助开发者更快地定制和部署智能体,同时帮助团队更快地调查事件、识别安全风险并改善运营。

什么是视频分析 AI 智能体?

视频分析 AI 智能体可以通过将视觉与语言模态相结合,理解各种自然语言问题或应用于录制或实时视频流的提示词,实现观察、推理并采取行动。更深入地理解视频内容,可以实现更准确和有意义的解读,改善视频分析应用的功能和真实场景的分析能力。这些智能体有望开启全新的洞察视角,为自动化带来更多可能性。

视频分析 AI 智能体部署在哪里?

高感知度、高精确度和高交互式视频分析 AI 智能体将部署在工厂、仓库、零售店、机场、交通路口等各个地方。这些智能体将支持视觉检测以发现产品缺陷和装配问题;支持安全与安防以识别危险和未经授权的访问;支持运营智能以发现瓶颈并改进工作流;以及支持预防性维护,以便在故障发生前发现设备磨损或损坏的可见迹象。管理人员和运营团队将使用自然语言与这些智能体进行沟通,以获得更丰富的洞察、创造更安全的空间,并做出更好的决策 —— 其核心均由生成式 AI 和 VLM 驱动。

构建视频分析 AI 智能体

探索由多个视觉语言模型提供支持的参考工作流,并轻松构建您的视频分析智能体。


技术实施

利用 NVIDIA Cosmos 了解世界

每个视频分析 AI 智能体的核心都是一个能够感知并推理的 VLM。两种常见的 VLM 是 NVIDIA Cosmos 3 和 Cosmos Embed。两者都可通过提供丰富的元数据和内容摘要来增强现有计算机视觉应用的能力。

NVIDIA NIM™ 是一组针对 NVIDIA GPU 优化的加速推理微服务,包含行业标准 API、特定领域代码、优化的推理引擎和企业级运行时。

利用 NVIDIA Metropolis VSS Blueprint 和技能快速构建 AI 智能体

随着团队将模型、视频处理、搜索和推理集成到实际应用中,构建定制的视频分析 AI 智能体每年可能耗费超过 10,000 个工程小时。面向视频搜索和总结 (VSS) 的 NVIDIA Metropolis Blueprint 简化了这一开发过程。开发者可以使用 VSS 智能体技能,通过自然语言提示词和编码智能体,在 30 分钟内构建出定制的、智能体就绪的视觉栈。

VSS 将生成式 AI、视觉语言模型、大语言模型、检索增强生成以及 NVIDIA NIM 相结合,帮助智能体分析海量视频,并将自然语言请求转化为可付诸行动的洞察。其模块化组件、加速微服务、跨多种嵌入的智能体融合搜索以及全面的报告,可帮助团队定制应用,从而优化流程、提高安全性并降低成本。VSS 智能体技能通过编码智能体简化部署和运行。

VSS 为现有计算机视觉工作流提供多模态理解和零样本推理,增强检查、搜索和分析。它支持在 NVIDIA RTX™ 4500、DGX Spark™、Jetson Thor™、Jetson Orin™ 和 Orin NX 上从边缘到云的部署。

快速链接

利用模型微调和合成数据生成智能体蓝图提高模型精度

为视频分析 AI 智能体定制模型的传统方法线性且缓慢,包括收集视频、标记帧、训练、评估、重复,每一步都要有人参与,且需要数月时间才能达到可接受的模型精度。现代方法打破了这一循环,使编码智能体能够根据设定目标迭代提高 VLM 和视觉基础模型的性能。

利用 NVIDIA Cosmos 框架调优视觉语言模型。

NVIDIA Cosmos 框架是一套智能体技能和工具,可使用自然语言提示词对世界模型 (包括 Cosmos 3) 进行预训练、后训练或微调。

利用智能体在数据整理、标注、合成数据生成和评估方面的技能,解决训练数据挑战。

借助 Cosmos Data Factory,开发者可以将原始数据整理为可训练的数据集,并在数据有限时,快速生成用于视觉检测的合成缺陷数据,或针对天气、光照等不同场景对视频进行增强。

使用 Jetson 平台服务创建边缘智能体

您可以使用 NVIDIA JetPack™的最新功能 - Jetson 平台服务,构建由 NVIDIA Jetson™ 边缘 AI 平台提供支持的视频分析 AI 智能体。生成式 AI 应用完全在 NVIDIA Jetson Orin™ 设备上运行,该设备能够检测事件以触发警报,并支持交互式问答会话。


入门

构建视频分析 AI 智能体

探索由多个视觉语言模型提供支持的参考工作流,轻松构建您的视频分析 AI 智能体。

开发者指南:构建视频分析 AI 智能体

降低构建和运行视觉 AI 智能体的成本

了解全新 VSS 技能如何让您构建多工作流视觉 AI 智能体。您将了解 Adaptive EVS 如何将 VLM Token 使用量减少 80%,并在同一 GPU 上实现 46% 的并发流提升。

借助 AI 智能体,将海量视频内容转化为可检索的有效信息

了解如何借助 VSS 功能模块部署视频智能体,以实现实时智能警报及智能搜索。

利用生成式 AI 增强计算机视觉流程

探索最新 VSS 2.4 的新特性,包括事件验证、与 NVIDIA Cosmos Reason 集成,以及扩展的硬件支持。

利用智能体技能在一天内调优 NVIDIA Cosmos 3

使用 NVIDIA TAO 智能体技能和两个自然语言提示词,将 NVIDIA Cosmos™ 3 Nano 在 Woven Traffic Safety (WTS) 数据集上的视频问答模型精度从 54.41% 提高到 93.35%。

利用 NVIDIA Cosmos 和 VSS 3.3 通过提示词构建视觉 AI 智能体

了解全新的 VSS Build Vision AI 技能如何帮助降低开发工作量,以及自适应高效视频采样 (EVS) 如何节省视频处理成本。

在 30 分钟内构建视觉 AI 智能体

了解如何实时构建和部署视觉 AI 智能体,涵盖从单个提示词到运行中的技术栈、异常检测、经验证的警报和事件报告。

利用技能构建视频分析 AI 智能体

使用 VSS 技能与 NemoClaw™ 将智能体集成到 Slack 中,以搜索视频并查看聊天中的片段。

利用智能体技能对 NVIDIA Cosmos 3 进行后训练

了解如何利用编码智能体、智能体技能和 AutoML 使 Cosmos 3 适应视频数据。

构建实时多模态 XR 应用

了解如何使用 NVIDIA AI Blueprint 进行视频搜索和摘要,以支持 XR 环境中的音频。

从边缘到云端部署 AI 智能体

利用 VSS Blueprint 的强大能力,从边缘到云端无缝部署 AI 智能体,并在各种 GPU 中实现可扩展的性能。

NVIDIA Jetson Thor

利用 NVIDIA Jetson Thor 系列模块,以紧凑的外形规格提供高达 2070 FP4 TFLOPS 的 AI 算力和 128 GB 内存,加速物理 AI 和机器人开发的未来。

NVIDIA DGX Spark

NVIDIA DGX Spark 将 NVIDIA Grace Blackwell 的强大功能引用到开发者台式机中。NVIDIA GB10 超级芯片与 128 GB 统一系统内存相结合,使 AI 研究人员、数据科学家和学生能够在本地处理具有多达 200B 参数的 AI 模型。

NVIDIA RTX PRO 6000 Blackwell 系列 GPU

NVIDIA RTX PRO Blackwell 系列 GPU 通过运行训练、合成数据生成、机器人学习和仿真中的每一项机器人开发工作负载,加速物理 AI。

相关成功案例