使用 GPU 加速图像视频处理方法的演进

在实际应用过程中，基于卷积神经网络的 AI 算法，由于优越的性能表现，逐步取代了传统算法。但是随着生活水平的提高，人们对于视频质量的要求也越来越高，各种算法对于算力的要求也越来越高，CPU 已经不能满足最新算法的算力要求，因此 GPU 加速方法得到了广泛的应用。 随着 AI 技术的发展，增强技术从单一模型逐渐发展到多模型叠加，取得了更好的增强效果。最新试验表明，基于画质信息结构化的动态自适应模型叠加方法成为了主流。AI 算法处理高分辨率的视频图像对显存的巨量开销，和有限的 GPU 显存形成了天然矛盾。我们会描述如何在一张 GPU 上运行几十种图像增强模型的调度方法，以及最新的 VLM 调度优化的内容。经过异步执行器调度优化，填补了 LLAVA 算法中的 GPU 空隙，通过nsys 分析得到的结果，整体速度相比 SGLang 提升了20%。