视频分析 AI 智能体
借助能够看、推理并采取行动的视觉 AI 智能体,将实时视频转化为实时运营智能。
工作负载
计算机视觉 / 视频分析
生成式 AI / LLM
边缘计算
行业
制造业
智慧城市 / 空间
零售 / 消费品
传媒娱乐
医疗健康和生命科学
业务目标
投资回报
创新
概览
AI 智能体相较传统视频分析有哪些优势?
摄像头可截取全球各地的运营画面,但超过 99% 的视频素材从未被观看 —— 使得安全风险、低效问题以及各种潜在机遇未被察觉。视频分析智能体由视觉语言模型 (VLM) 提供支持,不仅能够检测预定义的物体和事件,还能够理解正在发生的事情、推理并采取行动。从头开始构建这些智能体需要集成视频处理、模型训练、验证和部署,这是一项复杂的开发工作。NVIDIA 利用 NVIDIA Cosmos™ 等开放模型、加速库和技能,简化整个开发生命周期中的工作。这些基础模组帮助开发者更快地定制和部署智能体,同时帮助团队更快地调查事件、识别安全风险并改善运营。
什么是视频分析 AI 智能体?
视频分析 AI 智能体可以通过将视觉与语言模态相结合,理解各种自然语言问题或应用于录制或实时视频流的提示词,实现观察、推理并采取行动。更深入地理解视频内容,可以实现更准确和有意义的解读,改善视频分析应用的功能和真实场景的分析能力。这些智能体有望开启全新的洞察视角,为自动化带来更多可能性。
视频分析 AI 智能体部署在哪里?
高感知度、高精确度和高交互式视频分析 AI 智能体将部署在工厂、仓库、零售店、机场、交通路口等各个地方。这些智能体将支持视觉检测以发现产品缺陷和装配问题;支持安全与安防以识别危险和未经授权的访问;支持运营智能以发现瓶颈并改进工作流;以及支持预防性维护,以便在故障发生前发现设备磨损或损坏的可见迹象。管理人员和运营团队将使用自然语言与这些智能体进行沟通,以获得更丰富的洞察、创造更安全的空间,并做出更好的决策 —— 其核心均由生成式 AI 和 VLM 驱动。
快速链接
技术实施
利用 NVIDIA Cosmos 了解世界
每个视频分析 AI 智能体的核心都是一个能够感知并推理的 VLM。两种常见的 VLM 是 NVIDIA Cosmos 3 和 Cosmos Embed。两者都可通过提供丰富的元数据和内容摘要来增强现有计算机视觉应用的能力。
NVIDIA NIM™ 是一组针对 NVIDIA GPU 优化的加速推理微服务,包含行业标准 API、特定领域代码、优化的推理引擎和企业级运行时。
快速链接
利用 NVIDIA Metropolis VSS Blueprint 和技能快速构建 AI 智能体
随着团队将模型、视频处理、搜索和推理集成到实际应用中,构建定制的视频分析 AI 智能体每年可能耗费超过 10,000 个工程小时。面向视频搜索和总结 (VSS) 的 NVIDIA Metropolis Blueprint 简化了这一开发过程。开发者可以使用 VSS 智能体技能,通过自然语言提示词和编码智能体,在 30 分钟内构建出定制的、智能体就绪的视觉栈。
VSS 将生成式 AI、视觉语言模型、大语言模型、检索增强生成以及 NVIDIA NIM 相结合,帮助智能体分析海量视频,并将自然语言请求转化为可付诸行动的洞察。其模块化组件、加速微服务、跨多种嵌入的智能体融合搜索以及全面的报告,可帮助团队定制应用,从而优化流程、提高安全性并降低成本。VSS 智能体技能通过编码智能体简化部署和运行。
VSS 为现有计算机视觉工作流提供多模态理解和零样本推理,增强检查、搜索和分析。它支持在 NVIDIA RTX™ 4500、DGX Spark™、Jetson Thor™、Jetson Orin™ 和 Orin NX 上从边缘到云的部署。
快速链接
利用模型微调和合成数据生成智能体蓝图提高模型精度
为视频分析 AI 智能体定制模型的传统方法线性且缓慢,包括收集视频、标记帧、训练、评估、重复,每一步都要有人参与,且需要数月时间才能达到可接受的模型精度。现代方法打破了这一循环,使编码智能体能够根据设定目标迭代提高 VLM 和视觉基础模型的性能。
利用 NVIDIA Cosmos 框架调优视觉语言模型。
NVIDIA Cosmos 框架是一套智能体技能和工具,可使用自然语言提示词对世界模型 (包括 Cosmos 3) 进行预训练、后训练或微调。
利用智能体在数据整理、标注、合成数据生成和评估方面的技能,解决训练数据挑战。
借助 Cosmos Data Factory,开发者可以将原始数据整理为可训练的数据集,并在数据有限时,快速生成用于视觉检测的合成缺陷数据,或针对天气、光照等不同场景对视频进行增强。
快速链接
入门
构建视频分析 AI 智能体
探索由多个视觉语言模型提供支持的参考工作流,轻松构建您的视频分析 AI 智能体。
开发者指南:构建视频分析 AI 智能体
-
博客
-
视频
-
GTC 点播视频
