视频处理方法、装置以及计算机存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频处理方法、装置以及计算机存储介质，该方法包括：获取视频序列中待处理帧对应的卷积参数，其中，所述卷积参数包括可变形卷积核的采样点及所述采样点的权重；根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧。

Video Processing Method, Device and Computer Storage Media

The embodiment of the present invention discloses a video processing method, device and computer storage medium. The method includes: acquiring convolution parameters corresponding to frames to be processed in video sequences, in which the convolution parameters include sampling points of deformable convolution kernels and weights of the sampling points; and determining the frames to be processed according to the sampling points of the deformable convolution kernels and the weights of the sampling points. After denoising, the denoised video frames are obtained.

【技术实现步骤摘要】
视频处理方法、装置以及计算机存储介质
本专利技术涉及计算机视觉
，尤其涉及一种视频处理方法、装置以及计算机存储介质。
技术介绍
在视频的采集、传输和接收过程中，通常会有各种噪声夹杂在其中，夹杂的噪声降低了视频的视觉质量。例如，在相机光圈较小以及低光场景下所得到的视频往往包含有噪声，但是带噪声的视频中也包含了大量的信息，视频中的噪声会使得这些信息具有不确定性，严重影响观看者的视觉感受。因此，视频的去噪具有重要的研究意义，已经成为计算机视觉的重要研究课题。然而目前的解决方案仍然存在不足，尤其是当视频中连续的帧与帧之间存在运动或者相机自身存在抖动时，不仅无法将噪声去除干净，还容易导致视频中图像细节的损失或者图像边缘的模糊与重影。
技术实现思路
本专利技术的主要目的在于提出一种视频处理方法、装置以及计算机存储介质，可以有效地提取视频连续帧的信息并进行视频去噪，避免了视频中帧与帧之间运动所带来的图像模糊、细节损失与重影问题，同时提高了视频的成像质量。为达到上述目的，本专利技术的技术方案是这样实现的：第一方面，本专利技术实施例提供了一种视频处理方法，所述方法包括：获取视频序列中待处理帧对应的卷积参数，其中，所述卷积参数包括可变形卷积核的采样点及所述采样点的权重；根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧。在上述方案中，在所述获取视频序列中待处理帧对应的卷积参数之前，所述方法还包括：基于样本视频序列进行深度神经网络训练得到可变形卷积核。在上述方案中，所述基于样本视频序列进行深度神经网络训练得到可变形卷积核，包括：基于深度神经网络对所述样本视频序列中连续的多个视频帧分别进行坐标预测和权重预测，得到所述可变形卷积核的预测坐标和预测权重，其中，所述连续的多个视频帧包括样本参考帧及其至少一个相邻帧；对所述可变形卷积核的预测坐标进行采样，得到所述可变形卷积核的采样点；根据所述可变形卷积核的预测坐标和预测权重，得到所述可变形卷积核的采样点的权重；将所述可变形卷积核的采样点及所述采样点的权重，作为所述卷积参数。在上述方案中，所述对所述可变形卷积核的预测坐标进行采样，得到所述可变形卷积核的采样点，包括：将所述可变形卷积核的预测坐标输入到预设采样模型中，获得所述可变形卷积核的采样点。在上述方案中，在所述获得所述可变形卷积核的采样点之后，所述方法还包括：获取所述样本参考帧及所述至少一个相邻帧中的像素点；基于所述可变形卷积核的采样点，通过预设采样模型对所述像素点以及所述可变形卷积核的预测坐标进行采样计算，根据计算的结果确定所述采样点的采样值。在上述方案中，所述根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧，包括：将可变形卷积核的采样点及所述采样点的权重与所述待处理帧进行卷积处理，得到所述去噪后的视频帧。在上述方案中，所述将可变形卷积核的采样点及所述采样点的权重与所述待处理帧进行卷积处理，得到所述去噪后的视频帧，包括：针对所述待处理帧中的每个像素点，将每个像素点与所述可变形卷积核的采样点以及所述采样点的权重进行卷积运算，得到每个像素点对应的去噪像素值；根据每个像素点对应的去噪像素值，得到去噪后的视频帧。在上述方案中，所述将每个像素点与所述可变形卷积核的采样点以及所述采样点的权重进行卷积运算，得到每个像素点对应的去噪像素值，包括：将每个像素点与所述可变形卷积核的采样点以及所述采样点的权重进行加权求和计算；根据计算的结果，获得每个像素点对应的去噪像素值。第二方面，本专利技术实施例提供了一种视频处理装置，所述视频处理装置包括获取单元和去噪单元，其中，所述获取单元，配置为获取视频序列中待处理帧对应的卷积参数，其中，所述卷积参数包括可变形卷积核的采样点及所述采样点的权重；所述去噪单元，配置为根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧。在上述方案中，所述视频处理装置还包括训练单元，配置为基于样本视频序列进行深度神经网络训练得到可变形卷积核。在上述方案中，所述视频处理装置还包括预测单元和采样单元，其中，所述预测单元，配置为基于深度神经网络对所述样本视频序列中连续的多个视频帧分别进行坐标预测和权重预测，得到所述可变形卷积核的预测坐标和预测权重，其中，所述连续的多个视频帧包括样本参考帧及其至少一个相邻帧；所述采样单元，配置为对所述可变形卷积核的预测坐标进行采样，得到所述可变形卷积核的采样点；所述获取单元，还配置为根据所述可变形卷积核的预测坐标和预测权重，得到所述可变形卷积核的采样点的权重；以及将所述可变形卷积核的采样点及所述采样点的权重，作为所述卷积参数。在上述方案中，所述采样单元，具体配置为将所述可变形卷积核的预测坐标输入到预设采样模型中，获得所述可变形卷积核的采样点。在上述方案中，所述获取单元，还配置为获取所述样本参考帧及所述至少一个相邻帧中的像素点；所述采样单元，还配置为基于所述可变形卷积核的采样点，通过预设采样模型对所述像素点以及所述可变形卷积核的预测坐标进行采样计算，根据计算的结果确定所述采样点的采样值。在上述方案中，所述去噪单元，具体配置为将可变形卷积核的采样点及所述采样点的权重与所述待处理帧进行卷积处理，得到所述去噪后的视频帧。在上述方案中，所述视频处理装置还包括卷积单元，配置为针对所述待处理帧中的每个像素点，将每个像素点与所述可变形卷积核的采样点以及所述采样点的权重进行卷积运算，得到每个像素点对应的去噪像素值；所述去噪单元，具体配置为根据每个像素点对应的去噪像素值，得到去噪后的视频帧。在上述方案中，所述卷积单元，具体配置为将每个像素点与所述可变形卷积核的采样点以及所述采样点的权重进行加权求和计算；以及根据计算的结果，获得每个像素点对应的去噪像素值。第三方面，本专利技术实施例提供了一种视频处理装置，所述视频处理装置包括：存储器和处理器；其中，所述存储器，用于存储能够在所述处理器上运行的计算机程序；所述处理器，用于在运行所述计算机程序时，执行如第一方面中任一项所述方法的步骤。第四方面，本专利技术实施例提供了一种计算机存储介质，所述计算机存储介质存储有视频处理程序，所述视频处理程序被至少一个处理器执行时实现如第一方面中任一项所述方法的步骤。第五方面，本专利技术实施例提供了一种终端设备，其特征在于，所述终端设备至少包括如第二方面中任一项、或者如第三方面所述的视频处理装置。本专利技术实施例所提供的一种视频处理方法、装置以及计算机存储介质，首先获取视频序列中待处理帧对应的卷积参数，其中，所述卷积参数包括可变形卷积核的采样点及所述采样点的权重；由于该卷积参数是通过提取视频连续帧的信息来得到的，能够有效避免视频中帧与帧之间运动所带来的图像模糊、细节损失与重影问题；再根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧；这样，由于采样点的权重可以根据采样点位置的不同而变化，从而能够使得视频去噪效果更佳，提高了视频的成像质量。附图说明图1为本专利技术实施例提供的一种视频处理方法的流程示意图；图2为本专利技术实施例提供的一种深度卷积神经网络的结构示意图；图3为本专利技术实施例提供的另一种视频处理方法的流程示意图本文档来自技高网...

【技术保护点】
1.一种视频处理方法，所述方法包括：获取视频序列中待处理帧对应的卷积参数，其中，所述卷积参数包括可变形卷积核的采样点及所述采样点的权重；根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧。

【技术特征摘要】
1.一种视频处理方法，所述方法包括：获取视频序列中待处理帧对应的卷积参数，其中，所述卷积参数包括可变形卷积核的采样点及所述采样点的权重；根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理，得到去噪后的视频帧。2.根据权利要求1所述的方法，其特征在于，在所述获取视频序列中待处理帧对应的卷积参数之前，所述方法还包括：基于样本视频序列进行深度神经网络训练得到可变形卷积核。3.根据权利要求2所述的方法，其特征在于，所述基于样本视频序列进行深度神经网络训练得到可变形卷积核，包括：基于深度神经网络对所述样本视频序列中连续的多个视频帧分别进行坐标预测和权重预测，得到所述可变形卷积核的预测坐标和预测权重，其中，所述连续的多个视频帧包括样本参考帧及其至少一个相邻帧；对所述可变形卷积核的预测坐标进行采样，得到所述可变形卷积核的采样点；根据所述可变形卷积核的预测坐标和预测权重，得到所述可变形卷积核的采样点的权重；将所述可变形卷积核的采样点及所述采样点的权重，作为所述卷积参数。4.根据权利要求3所述的方法，其特征在于，所述对所述可变形卷积核的预测坐标进行采样，得到所述可变形卷积核的采样点，包括：将所述可变形卷积核的预测坐标输入到预设采样模型中，获得所述可变形卷积核的采样点。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述可变形卷积核的采样点及所述采样点的权重对所述待处理帧进行去噪处理...

【专利技术属性】
技术研发人员：许翔宇，李沐辰，孙文秀，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44