在 GPU 上使用 Video Codec SDK，CV-CUDA 和 TensorRT 加速现代云上视频应用

人工智能技术广泛应用于云和 on-prem 数据中心的短视频和直播应用当中，覆盖了超分辨率，直播视频特效，旧视频修复，自动像素化，视频内容理解等。然而，当部署这些应用程序时，传统视频处理管线混合了 CPU 和 GPU 负载，其性能将受到以下因素的限制: 1) h2d 和 d2h 内存拷贝，2) CPU 上的前处理和后处理，3) CPU 上的视频编解码，4) 未充分优化的 AI 推理框架。针对以上限制， NVIDIA 提供了丰富的视频处理相关的 SDK，例如用于视频编解码的 Video Codec SDK，用于图像前处理/后处理的 CV-CUDA，以及用于加速 DL 模型推理的 TensorRT。如何在实践中高效地在云上使用这些工具是搭建基于人工智能的新式视频处理管线的关键。本次演讲将介绍如何使用这些 SDK 来解决应用中的低效部分，并构建一个全 GPU 的视频处理管线。我们设计了一个简单易用的 demo 工具 DecInfer，以帮助开发人员轻松地理解和开发自己的全 GPU 管线。我们将详细介绍:1) 使用 Video Codec SDK 加速视频编解码; 2) 使用 CV-CUDA 将前处理/后处理迁移到 GPU; 3) 使用 TensorRT 推理; 4) 管线多流并行化。