一种视频图像处理的加速方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种视频图像处理的加速方法、系统、设备及存储介质，涉及图像处理技术领域。该方法包括：采集视频帧图像并对其进行格式转换；获取关键帧和参考帧；拆解网络模型为卷积层部分和后处理部分；对关键帧进行降采样处理，获取降采样图像；将降采样图像送入卷积层部分进行推理，获取预测参数图；对预测参数图进行上采样处理，获取上采样图像并将其与视频帧图像进行像素矩阵运算，获取运算结果图。本发明专利技术采用帧差法技术保证了视频图像处理的实时性；采用NEON技术和降采样技术提升模型推理速度；将模型进行拆解，使用OpenMp并行计算，提升运算速度和模型的精确度；采用上采样技术保证输出图像分辨率不会降低，确保视频质量。确保视频质量。确保视频质量。

【技术实现步骤摘要】
一种视频图像处理的加速方法、系统、设备及存储介质


[0001]本专利技术属于图像处理
，尤其涉及一种视频图像处理的加速方法、系统、设备及存储介质。

技术介绍

[0002]目前，随着深度学习在图像处理领域的发展，深度学习模型计算量越加复杂，精度越加精确，一般的深度学习模型在进行训练时，为加快训练速度，通常会使用多GPU高性能处理器分布式训练，但当模型在嵌入式平台(如Arm Cortex)进行部署时，由于其计算性能和存储空间有限，会造成推理速度慢等问题，尤其在对实时性要求较高的视频处理领域，该问题尤其突出，如自动驾驶领域的实时目标检测、目标追踪等。若单帧图像处理速度慢将会造成帧间跨度大、延迟高、视频卡顿，严重影响视频质量。
[0003]中国人民解放军国防科技大学在其专利技术专利CN115186805A中公开了“一种应用于图像处理的深度网络模型轻量化方法及系统”，其方法包括：从训练集中提取多帧样本图像；利用所述样本图像对深度网络模型执行包含正则化约束的训练；其中，所述深度网络模型的卷积层中包含用于实现网络权值量化的刻度因子；对训练后的深度网络模型中的稀疏通道进行裁剪，得到轻量化深度网络模型，以便利用所述轻量化深度网络模型对图像处理请求对应的图像进行处理；其中，所述稀疏通道中尺度因子的值为零，即该通道所有权值为零，可以对其剪枝。通过权值量化、模型剪枝等方式，降低应用于图像处理的深度网络模型的结构复杂度，提高视频处理的实时性。
[0004]腾讯科技(深圳)有限公司在其专利技术专利CN115205164A中公开了一种“图像处理模型的训练方法、视频处理方法、装置及设备”，其方法包括：对于任一第一样本图像，基于至少一种降质操作，对所述第一样本图像进行降质，得到第二样本图像；在所述第一样本图像中随机添加第一样本文本，在所述第二样本图像中随机添加第二样本文本；基于图像处理模型对所述第二样本图像进行处理，得到样本结果图像；基于所述样本结果图像与所述第一样本图像之间的差异，对所述图像处理模型进行训练，以得到目标图像处理模型。基于目标图像处理模型能够提高图像的清晰度，在对视频帧处理时，能够在不改变视频分辨率的前提下，使视频的清晰度提高，不会显著增加传输带宽和存储空间。
[0005]综上所述，在现有技术中，通常使用模型剪枝、权值量化、输入图像降质等操作，减少模型推理的计算量，提升视频单帧图片的深度学习模型推理速度，从而保证视频的处理实时性。
[0006]但现有技术依然存在以下缺点：
[0007](1)图像降质输入会加快推理速度，但未对原图像进行还原会使得视频图像的分辨率降低，影响视频质量。
[0008](2)模型量化可减少模型尺寸和存储空间，但推理过程必定会损失一定的精度，造成模型精度降低。

技术实现思路

[0009]本专利技术的目的在于提供一种视频图像处理的加速方法、系统、设备及存储介质，既能保证输出图像分辨率，又不损失模型预测精度，并且还加快了视频图像处理速度，提升了实时性与视频的流畅度。
[0010]本专利技术的目的可以通过以下技术方案实现：
[0011]第一方面，本申请实施例提供一种视频图像处理的加速方法，包括：
[0012]设置统一的视频帧图像格式，采集所述视频帧图像并对其进行格式转换；
[0013]获取所述视频帧图像的关键帧和参考帧；
[0014]将卷积神经网络模型拆解为卷积层部分和后处理部分；
[0015]对所述关键帧进行降采样处理，获取降采样图像；
[0016]将所述降采样图像送入所述卷积层部分进行推理，获取预测参数图；将所述参考帧送入所述后处理部分；
[0017]对所述预测参数图进行上采样处理，获取上采样图像；
[0018]将所述上采样图像与所述视频帧图像进行像素矩阵运算，获取运算结果图。
[0019]作为本专利技术的一种优选技术方案，所述视频帧图像包括物理地址，将所述物理地址映射到虚拟地址中，所述虚拟地址是临时地址，与所述物理地址的空间大小相同。
[0020]作为本专利技术的一种优选技术方案，采用帧差法提取所述视频帧图像的关键帧和参考帧。
[0021]作为本专利技术的一种优选技术方案，对所述视频帧图像进行初始化，捕获所述视频帧图像，将首次捕获的视频帧图像作为第一帧关键帧。
[0022]作为本专利技术的一种优选技术方案，重新捕获所述视频帧图像，将其与所述第一帧关键帧进行帧差计算；将所述帧差大于阈值的视频帧图像定义为下一帧关键帧，将所述帧差小于阈值的视频帧图像定义为参考帧。
[0023]作为本专利技术的一种优选技术方案，所述后处理部分采用多线程并行计算，用于批量处理所述视频帧图像，以及处理高分辨率视频帧图像。
[0024]作为本专利技术的一种优选技术方案，将所述高分辨率视频帧图像裁剪为多个子矩阵，使用所述多线程并行计算对所述子矩阵与所述预测参数图进行像素矩阵运算，获取对应像素点的计算结果，并将所述子矩阵计算结果进行拼接。
[0025]作为本专利技术的一种优选技术方案，所述视频帧图像格式为YUV420SP，所述运算结果图格式为U8C3，通过硬件色彩转换接口进行所述格式转换。
[0026]第二方面，本申请实施例提供一种视频图像处理的加速系统，包括依次连接的视频输入模块、视频处理模块和视频输出模块；
[0027]所述视频输入模块，用于设置规范统一的视频帧格式、采集并输入视频帧图像，将所述视频帧图像进行格式转换并输出至所述视频处理模块；
[0028]所述视频处理模块，用于对所述视频帧图像进行关键帧提取和参考帧判别；将所述参考帧的降采样图像送入卷积神经网络模型的卷积层部分进行推理预测，得到预测参数图；将所述预测参数图进行上采样处理，并与所述视频帧图像进行像素矩阵运算，得到运算结果图并输出；
[0029]所述视频输出模块，用于对所述运算结果图进行格式转换，进行地址映射并输出。
[0030]第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器实现如上述所述任意一项的一种视频图像处理的加速方法。
[0031]第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器实现如上述所述任意一项的一种视频图像处理的加速方法。
[0032]本专利技术的有益效果为：
[0033](1)在视频帧图像的处理上，采用帧差法技术进行关键帧提取和参考帧判别，减少输入网络中的视频帧图像，缩减整个视频网络推理时间。
[0034](2)在推理过程中，采用NEON技术和输入图像降采样技术加快数据读取速度，提升推理速度；将模型中简单且循环次数较多的算数运算拆解出放入模型后处理部分，使用OpenMp并行计算，提升运算速度，提高模型的精确度。
[0035](3)在推理结束后，采用上采样技术将预测参数图调整回与原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频图像处理的加速方法，其特征在于，所述方法包括：设置统一的视频帧图像格式，采集所述视频帧图像并对其进行格式转换；对所述视频帧图像进行关键帧判别，获取关键帧和参考帧；将卷积神经网络模型拆解为卷积层部分和后处理部分；对所述关键帧进行降采样处理，获取降采样图像；将所述降采样图像送入所述卷积层部分进行推理，获取预测参数图；将所述参考帧送入所述后处理部分；对所述预测参数图进行上采样处理，获取上采样图像；将所述上采样图像与所述视频帧图像进行像素矩阵运算，获取运算结果图。2.根据权利要求1所述的一种视频图像处理的加速方法，其特征在于，所述视频帧图像包括物理地址，将所述物理地址映射到虚拟地址中，所述虚拟地址是临时地址，与所述物理地址的空间大小相同。3.根据权利要求1所述的一种视频图像处理的加速方法，其特征在于，采用帧差法提取所述视频帧图像的关键帧和参考帧。4.根据权利要求3所述的一种视频图像处理的加速方法，其特征在于，对所述视频帧图像进行初始化，捕获所述视频帧图像，将首次捕获的视频帧图像作为第一帧关键帧。5.根据权利要求4所述的一种视频图像处理的加速方法，其特征在于，重新捕获所述视频帧图像，将其与所述第一帧关键帧进行帧差计算；将所述帧差大于阈值的视频帧图像定义为下一帧关键帧，将所述帧差小于阈值的视频帧图像定义为参考帧。6.根据权利要求1所述的一种视频图像处理的加速方法，其特征在于，所述后处理部分采用...

【专利技术属性】
技术研发人员：宋娟，张艳鑫，李雪俭，罗小宝，孙飞，陶理文，
申请(专利权)人：西安电子科技大学广州研究院，
类型：发明
国别省市：