视频处理方法、装置以及设备制造方法及图纸

本申请公开了一种视频处理方法、装置以及设备，应用于图像技术领域。本申请实施例提供的技术方案，在需要对视频进行例如擦除或修复等处理时，能够在针对相邻视频帧检测到场景未发生切换后，可以参考相邻视频帧的图像内容，来执行图像补全，保证了所生成视频的播放效果自然流畅、无明显的闪烁问题。并且，由于所参考的是相邻的视频帧，其整体处理时长也能够控制在合理范围内。在合理范围内。在合理范围内。

【技术实现步骤摘要】
视频处理方法、装置以及设备


[0001]本申请涉及图像
，特别涉及一种视频处理方法、装置以及设备。

技术介绍

[0002]随着互联网技术的发展，视频成为一种新潮的内容传播方式，越来越多的用户会通过制作视频进行内容传播。在视频制作过程中，经常需要对视频中一些画面元素进行处理，例如：去除视频中的字幕、水印或乱入的物体等。这时可以通过对视频进行处理，来实现对视频中的画面元素的擦除，进而得到不包含上述画面元素的视频。
[0003]相关技术中，有一类视频处理方法是一帧一帧进行的，这类视频处理方法以视频帧中的待处理区域以外的区域为参考，利用神经网络强大的拟合能力，在待处理区域生成丰富且精细的内容细节，从而得到处理完的视频帧，对多个视频帧都进行如上操作，进而得到处理完的视频。还有一类视频处理方法中，以某一个视频帧为例，将该视频帧之前的多个视频帧作为参考帧，运用对齐模块，对于每个参考帧来说，将该视频帧的待处理区域与该参考帧中对应的区域进行对齐，然后计算二者的匹配度，将匹配度最高的参考帧中的对应区域复制到该视频帧的待处理区域中，得到处理完的视频帧，对多个视频帧都进行如上操作，进而得到处理完的视频。
[0004]但是，上述第一类视频处理方法，在处理某一个视频帧时，仅是以该视频帧为参考，视频帧的处理结果会随视频帧的微小变化而产生不可预测的改变，致使出现视频帧之间不连贯的情况，进而导致处理得到的视频在播放时存在难以忍受的闪烁。上述第二类视频处理方法，对每个参考帧都进行对齐和匹配度的计算，通常涉及到较大的数据处理量，耗时较长。

技术实现思路

[0005]本申请实施例提供了一种视频处理方法、装置以及设备，可以使所生成视频的播放效果自然流畅、无明显的闪烁问题，且整体处理时长能够控制在合理范围内，技术方案如下：
[0006]一方面，提供了一种视频处理方法，该方法包括：
[0007]获取视频的多个视频帧；
[0008]对该多个视频帧中的每个视频帧，若基于该视频帧以及前一个视频帧，确定该视频帧未发生场景切换，基于该视频帧的前一个视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧；
[0009]基于该多个视频帧的第一视频帧，生成目标视频。
[0010]在一些实施例中，该方法还包括，若基于该视频帧以及前一个视频帧，确定该视频帧发生场景切换，基于该视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧。
[0011]在一些实施例中，该方法还包括，对于该视频帧中的多个像素，获取每个该像素的
目标像素值，该目标像素值为该像素点在前一个视频帧中对应邻域内的每一个像素的相似度之和；基于该每个像素的目标像素值，从该多个像素中，提取目标像素值大于像素阈值的像素；获取提取到的像素的目标像素值的平均值；若该平均值大于或等于平均值阈值，则确定发生场景切换。
[0012]在一些实施例中，该基于该多个视频帧的第一视频帧，生成目标视频包括：
[0013]将该视频帧的第一视频帧输入循环卷积神经网络，由该循环卷积神经网络对该视频帧的第一视频帧的图像特征和该视频帧的前一个视频帧的隐藏态特征进行融合，输出该视频帧的第二视频帧；
[0014]基于该多个视频帧的第二视频帧，生成该目标视频。
[0015]在一些实施例中，该若基于该视频帧以及前一个视频帧，确定该视频帧未发生场景切换，基于该视频帧的前一个视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧包括：
[0016]若基于该视频帧以及前一个视频帧，确定该视频帧未发生场景切换，将该前一个视频帧与该视频帧进行对齐，基于对齐后的该前一个视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧。
[0017]在一些实施例中，该对该视频帧进行补全处理通过图像补全网络实现，该图像补全网络为U型网络。
[0018]一方面，提供了一种视频处理装置，该装置包括：
[0019]获取单元，被配置为执行获取视频的多个视频帧；
[0020]补全单元，被配置为执行若基于该视频帧以及前一个视频帧，确定该视频帧未发生场景切换，基于该视频帧的前一个视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧；
[0021]生成单元，被配置为执行基于该多个视频帧的第一视频帧，生成目标视频。
[0022]在一些实施例中，该补全单元，还被配置为执行若基于该视频帧以及前一个视频帧，确定该视频帧发生场景切换，基于该视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧。
[0023]在一些实施例中，该生成单元，被配置为执行将该视频帧的第一视频帧输入循环卷积神经网络，由该循环卷积神经网络对该视频帧的第一视频帧的图像特征和该视频帧的前一个视频帧的隐藏态特征进行融合，输出该视频帧的第二视频帧；基于该多个视频帧的第二视频帧，生成该目标视频。
[0024]在一些实施例中，该补全单元，被配置为执行若基于该视频帧以及前一个视频帧，确定该视频帧未发生场景切换，将该前一个视频帧与该视频帧进行对齐，基于对齐后的该前一个视频帧和该视频帧的蒙版，对该视频帧进行补全处理，得到该视频帧的第一视频帧。
[0025]在一些实施例中，该对该视频帧进行补全处理通过图像补全网络实现，该图像补全网络为U型网络。
[0026]一方面，提供了一种计算机设备，该计算机设备包括：
[0027]一个或多个处理器；
[0028]用于存储该处理器可执行程序代码的存储器；
[0029]其中，该处理器被配置为执行该程序代码，以实现上述视频处理方法。
[0030]一方面，提供了一种计算机可读存储介质，当该计算机可读存储介质中的程序代码由服务器的处理器执行时，使得该服务器能够执行上述视频处理方法。
[0031]一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述视频处理方法。
附图说明
[0032]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是本申请实施例提供的一种视频处理方法的实施环境示意图；
[0034]图2是本申请实施例提供的一种视频处理方法的流程图；
[0035]图3是本申请实施例提供的一种视频处理方法的流程图；
[0036]图4是本申请实施例提供的一种图像补全网络结构示意图；
[0037]图5是本申请实施例提供的一种循环卷积神经网络结构示意图；
[0038]图6是本申请实施例提供的一种视频处理方法的流程图；
[0039]图7是本申请实施例提供的一种视频处理装置的结构示意图；
[0040]图8是本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，所述方法包括：获取视频的多个视频帧；对所述多个视频帧中的每个视频帧，若基于所述视频帧以及前一个视频帧，确定所述视频帧未发生场景切换，基于所述视频帧的前一个视频帧和所述视频帧的蒙版，对所述视频帧进行补全处理，得到所述视频帧的第一视频帧；基于所述多个视频帧的第一视频帧，生成目标视频。2.根据权利要求1所述的视频处理方法，其特征在于，所述方法还包括：若基于所述视频帧以及前一个视频帧，确定所述视频帧发生场景切换，基于所述视频帧和所述视频帧的蒙版，对所述视频帧进行补全处理，得到所述视频帧的第一视频帧。3.根据权利要求1所述的视频处理方法，其特征在于，所述方法还包括：对于所述视频帧中的多个像素，获取每个所述像素的目标像素值，所述目标像素值为所述像素点在前一个视频帧中对应邻域内的每一个像素的相似度之和；基于所述每个像素的目标像素值，从所述多个像素中，提取目标像素值大于像素阈值的像素；获取提取到的像素的目标像素值的平均值；若所述平均值大于或等于平均值阈值，则确定发生场景切换。4.根据权利要求1所述的视频处理方法，其特征在于，所述基于所述多个视频帧的第一视频帧，生成目标视频包括：将所述视频帧的第一视频帧输入循环卷积神经网络，由所述循环卷积神经网络对所述视频帧的第一视频帧的图像特征和所述视频帧的前一个视频帧的隐藏态特征进行融合，输出所述视频帧的第二视频帧；基于所述多个视频帧的第二视频帧，生成所述目标视频。5.根据权利要求1所述的视频处理方法，其特征在于，所述若基于所述视频帧以及前一个视频帧，确定所述视频帧...

【专利技术属性】
技术研发人员：陶鑫，李昌临，吴明达，戴宇荣，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：