视频处理方法、装置以及设备制造方法及图纸

本申请公开了一种视频处理方法、装置以及设备，应用于图像技术领域。本申请实施例提供的技术方案，在需要对视频进行超分辨处理时，能够基于视频帧内的运动情况，将视频帧的前后相邻视频帧中不同类型的运动区域解耦出来，并分别基于不同类型的运动区域，来进行相应的视频特征的融合等处理，省略了基于逐像素操作的运动估计和补偿步骤，简化了网络的空间复杂度，节省了视频处理时间，而且由于分别对不同类型的运动区域进行特征提取，其提取到的特征更加准确，可以有效避免对所有区域进行相同处理，也就不会出现对快速运动区域或出现遮挡区域的运动估计不准确的情况，进而避免了视频中出现伪影问题，大大提高了视频的清晰度。大大提高了视频的清晰度。大大提高了视频的清晰度。

【技术实现步骤摘要】
视频处理方法、装置以及设备


[0001]本申请涉及图像
，特别涉及一种视频处理方法、装置以及设备。

技术介绍

[0002]在视频处理任务中，视频超分辨技术十分重要，其目的是将低分辨率的视频转换为高分辨率的视频。在视频处理过程中，需要填充分辨率转换时缺失的信息，目前的主流做法是利用卷积神经网络对视频进行运动估计和补偿，以实现视频超分辨。
[0003]相关技术中的视频处理方法，利用前后相邻视频帧之间的光流，对视频进行运动估计和补偿。以某个视频帧来说，首先将某个相邻视频帧和该视频帧在颜色通道进行图像拼接，拼接后的图像进行两次上采样，得到低分辨率、中分辨率和高分辨率的图像，将三个分辨率的图像输入卷积神经网络，通过卷积神经网络，提取该相邻视频帧和该视频帧之间的光流图，然后基于光流图将该相邻视频帧对齐到该视频帧，对该视频帧的前一个和后一个相邻视频帧均执行上述操作，最后将对齐后的前后相邻视频帧和该视频帧融合，得到分辨率提高后的视频帧。对多个视频帧进行如上操作，以得到处理完的视频。
[0004]但是，对于上述视频处理方法，光流图的提取和基于光流图的对齐是逐像素操作的，导致整个过程耗时较长；由于当相邻帧出现遮挡或较大运动时光流估计不准确，而基于不准确的光流来扭曲像素会产生伪影，导致视频的画面不清晰。

技术实现思路

[0005]本申请实施例提供了一种视频处理方法、装置以及设备，可以节省视频处理时间，避免视频中出现伪影问题，大大提高视频的清晰度，技术方案如下：
[0006]一方面，提供了一种视频处理方法，该方法包括：
[0007]基于视频的视频帧以及该视频帧的前一个视频帧，确定该前一个视频帧的第一图像和第二图像，该第一图像包括运动情况符合目标条件的区域，该第二图像包括运动情况不符合目标条件的区域。
[0008]基于视频的视频帧以及该视频帧的后一个视频帧，确定该后一个视频帧的第一图像和第二图像；
[0009]基于该视频帧的第一特征图和第二特征图，获取该视频帧的融合特征图，该第一特征图基于该视频帧、该前一个视频帧的第一图像和该后一个视频帧的第一图像确定，该第二特征图基于该视频帧、该前一个视频帧的第二图像和该后一个视频帧的第二图像确定；
[0010]基于该视频的多个视频帧的该融合特征图和该多个视频帧，生成该视频的目标视频。
[0011]在一些实施例中，该基于视频的视频帧以及该视频帧的前一个视频帧，确定该前一个视频帧的第一图像和第二图像包括：获取该视频帧的第一残差图，该第一残差图是该视频帧和该视频帧的前一个视频帧之间的残差；基于该第一残差图，确定该前一个视频帧
对应的像素值阈值，该像素值阈值为该第一残差图中像素点的像素值均值；基于该前一个视频帧对应的像素值阈值和该第一残差图，生成该前一个视频帧的第一图像和第二图像。
[0012]在一些实施例中，该基于该前一个视频帧对应的像素值阈值和该第一残差图，生成该前一个视频帧的第一图像和第二图像包括：基于该像素值阈值，在该第一残差图中确定像素值大于或等于该像素值阈值的区域；基于该前一个视频帧中与所确定的区域对应的区域，生成该前一个视频帧的掩膜；基于该前一个视频帧的掩膜和该前一个视频帧的第一图像，生成该前一个视频帧的第一图像和第二图像。
[0013]在一些实施例中，该基于该前一个视频帧的掩膜和该前一个视频帧的第一图像，生成该前一个视频帧的第一图像和第二图像包括：将该前一个视频帧的掩膜与该前一个视频帧相乘，得到该前一个视频帧的第一图像；将该前一个视频帧的第一图像与该前一个视频帧相减，得到该前一个视频帧的第二图像。
[0014]在一些实施例中，该基于该视频帧的第一特征图和第二特征图，获取该视频帧的融合特征图步骤包括：获取该视频帧的第一特征图和第二特征图；对该第一特征图和该第二特征图进行融合，得到该视频帧的融合特征图。
[0015]在一些实施例中，该视频帧的第一特征图的获取过程包括：拼接该视频帧、该前一个视频帧的第一图像和该后一个视频帧的第一图像，得到该视频帧的第一拼接视频帧；将该视频帧的第一拼接视频帧输入第一卷积神经网络，通过该第一卷积神经网络对该视频帧的第一拼接视频帧进行特征提取，得到第一特征图，该第一卷积神经网络采用第一样本视频帧训练得到，该第一样本视频帧中包括有运动情况符合该目标条件的区域。
[0016]在一些实施例中，该视频帧的第二特征图的获取过程包括：拼接该视频帧、该前一个视频帧的第二图像和该后一个视频帧的第二图像，得到该视频帧的第二拼接视频帧；将该视频帧的第二拼接视频帧输入第二卷积神经网络，通过该第二卷积神经网络对该视频帧的第二拼接视频帧进行特征提取，得到第二特征图，该第二卷积神经网络采用第二样本视频帧训练得到，该第二样本视频帧中包括有运动情况不符合该目标条件的区域。
[0017]在一些实施例中，该基于该视频的多个视频帧的该融合特征图和该多个视频帧，生成该视频的目标视频包括：对于该视频中的每个视频帧，对该视频帧的融合特征图进行上采样，得到目标特征图；对该视频帧进行上采样，得到该视频帧对应的上采样视频帧；将该目标特征图和该视频帧对应的上采样视频帧融合，得到该视频帧的目标视频帧；对该多个视频帧对应的目标视频帧进行编码，生成目标视频。
[0018]在一些实施例中，该视频处理方法还包括：基于获取到的视频帧进行场景切换检测，若检测到该视频帧未发生场景切换，执行对该视频帧的处理。
[0019]一方面，提供了一种视频处理装置，该装置包括：
[0020]确定单元，被配置为执行基于视频的视频帧以及该视频帧的前一个视频帧，确定该前一个视频帧的第一图像和第二图像，该第一图像包括运动情况符合目标条件的区域，该第二图像包括运动情况不符合目标条件的区域；
[0021]该确定单元，还被配置为执行基于视频的视频帧以及该视频帧的后一个视频帧，确定该后一个视频帧的第一图像和第二图像；
[0022]融合单元，被配置为执行基于该视频帧的第一特征图和第二特征图，获取该视频帧的融合特征图，该第一特征图基于该视频帧、该前一个视频帧的第一图像和该后一个视
频帧的第一图像确定，该第二特征图基于该视频帧、该前一个视频帧的第二图像和该后一个视频帧的第二图像确定；
[0023]生成单元，被配置为执行基于该视频的多个视频帧的该融合特征图和该多个视频帧，生成该视频的目标视频。
[0024]在一些实施例中，该确定单元包括：第一获取子单元，被配置为执行获取该视频帧的第一残差图，该第一残差图是该视频帧和该视频帧的前一个视频帧之间的残差；确定子单元，被配置为执行基于该第一残差图，确定该前一个视频帧对应的像素值阈值，该像素值阈值为该第一残差图中像素点的像素值均值；生成子单元，被配置为执行基于该前一个视频帧对应的像素值阈值和该第一残差图，生成该前一个视频帧的第一图像和第二图像。
[0025]在一些实施例中，该生成子单元包括：第一确定子单元，被配置为执行，基于该像素值阈值，在该第一残差图中确定像素本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：基于视频的视频帧以及所述视频帧的前一个视频帧，确定所述前一个视频帧的第一图像和第二图像，所述第一图像包括运动情况符合目标条件的区域，所述第二图像包括运动情况不符合目标条件的区域；基于视频的视频帧以及所述视频帧的后一个视频帧，确定所述后一个视频帧的第一图像和第二图像；基于所述视频帧的第一特征图和第二特征图，获取所述视频帧的融合特征图，所述第一特征图基于所述视频帧、所述前一个视频帧的第一图像和所述后一个视频帧的第一图像确定，所述第二特征图基于所述视频帧、所述前一个视频帧的第二图像和所述后一个视频帧的第二图像确定；基于所述视频的多个视频帧的所述融合特征图和所述多个视频帧，生成所述视频的目标视频。2.根据权利要求1所述的视频处理方法，其特征在于，所述基于视频的视频帧以及所述视频帧的前一个视频帧，确定所述前一个视频帧的第一图像和第二图像包括：获取所述视频帧的第一残差图，所述第一残差图是所述视频帧和所述视频帧的前一个视频帧之间的残差；基于所述第一残差图，确定所述前一个视频帧对应的像素值阈值，所述像素值阈值为所述第一残差图中像素点的像素值均值；基于所述前一个视频帧对应的像素值阈值和所述第一残差图，生成所述前一个视频帧的第一图像和第二图像。3.根据权利要求2所述的视频处理方法，其特征在于，所述基于所述前一个视频帧对应的像素值阈值和所述第一残差图，生成所述前一个视频帧的第一图像和第二图像包括：基于所述像素值阈值，在所述第一残差图中确定像素值大于或等于所述像素值阈值的区域；基于所述前一个视频帧中与所确定的区域对应的区域，生成所述前一个视频帧的掩膜；基于所述前一个视频帧的掩膜和所述前一个视频帧的第一图像，生成所述前一个视频帧的第一图像和第二图像。4.根据权利要求1所述的视频处理方法，其特征在于，基于所述视频帧的第一特征图和第二特征图，获取所述视频帧的融合特征图包括：获取所述视频帧的第一特征图和第二特征图；对所述第一特征图和所述第二特征图进行融合，得到所述视频帧的融合特征图。5.根据权利要求1所述的视频处理方法，其特征在于，所述基...

【专利技术属性】
技术研发人员：磯部駿，陶鑫，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：