视频处理方法、装置、设备及存储介质制造方法及图纸

本公开实施例提供了一种视频处理方法、装置、设备及存储介质，涉及计算机技术领域，该方法包括：获取待处理视频的第一目标帧序列以及第一目标掩膜序列；进行抽帧处理，得到第一采样帧序列、第一剩余帧序列、第一采样掩膜序列、第一剩余掩膜序列；进行光流传播与图像修复处理，获得第一已修复采样帧序列与第一已修复剩余帧序列；对第一已修复采样帧序列以及第一已修复剩余帧序列进行合并处理，获得待处理视频的已修复视频。本公开可以通过抽帧处理，先处理采样帧序列与第一采样掩膜序列，得到第一已修复采样帧序列。再通过第一已修复采样帧序列对第一剩余帧序列进行处理，获取已修复视频。本公开可以提高视频处理的效率。本公开可以提高视频处理的效率。本公开可以提高视频处理的效率。

【技术实现步骤摘要】
视频处理方法、装置、设备及存储介质


[0001]本公开涉及计算机
，尤其涉及一种视频处理方法、装置、设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，对视频进行处理的需求也在逐渐增加。例如，人们可能需要将一段视频中的水印、字幕或者运动物体等进行去除。但是在视频中，水印、字幕或者运动物体等会对视频的背景进行遮挡。因此在去除操作完成之后，视频中会产生由于去除操作而产生的未知区域。因而还需要对视频中的未知区域进行填充与修复等处理，但相关技术中对视频进行修复的方案存在效率较低的问题，难以进行大规模商业部署。

技术实现思路

[0003]本公开实施例提供了一种视频处理方法、装置、设备及存储介质，可用于，提高视频处理的效率。
[0004]本公开实施例提供了一种视频处理方法，该方法包括：获取待处理视频的第一目标帧序列以及第一目标掩膜序列；分别对所述第一目标帧序列与所述第一目标掩膜序列进行抽帧处理，得到第一采样帧序列及其第一剩余帧序列，以及第一采样掩膜序列及其第一剩余掩膜序列；对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播和图像修复处理，获得第一已修复采样帧序列；对所述第一已修复采样帧序列、所述第一剩余帧序列以及所述第一剩余掩膜序列进行光流传播和图像修复处理，得到第一已修复剩余帧序列；对所述第一已修复采样帧序列以及所述第一已修复剩余帧序列进行合并处理，获得所述待处理视频的已修复视频。
[0005]本公开实施例提供了一种视频处理装置，该装置包括：获取模块，用于获取待处理视频的第一目标帧序列以及第一目标掩膜序列；抽帧模块，用于分别对所述第一目标帧序列与所述第一目标掩膜序列进行抽帧处理，得到第一采样帧序列及其第一剩余帧序列，以及第一采样掩膜序列及其第一剩余掩膜序列；所述获取模块，还用于对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播和图像修复处理，获得第一已修复采样帧序列；所述获取模块，还用于对所述第一已修复采样帧序列、所述第一剩余帧序列以及所述第一剩余掩膜序列进行光流传播和图像修复处理，得到第一已修复剩余帧序列；所述获取模块，还用于对所述第一已修复采样帧序列以及所述第一已修复剩余帧序列进行合并处理，获得所述待处理视频的已修复视频。
[0006]在本公开的一些示例性实施例中，获取模块，用于对所述第一剩余帧序列进行梯度像素转换处理，获得第一剩余梯度帧序列；根据所述第一剩余帧序列和所述第一采样帧序列，获得第一剩余光流序列；对所述第一剩余光流序列中的掩膜区域进行光流填充处理，获得第一已填充剩余光流序列；对所述第一剩余梯度帧序列、所述第一已填充剩余光流序列、所述第一已修复采样帧序列以及所述第一剩余掩膜序列进行光流传播和图像修复处
理，获得所述第一已修复剩余帧序列。
[0007]在本公开的一些示例性实施例中，获取模块，用于确定所述第一剩余帧序列中的目标剩余帧；从所述第一采样帧序列中确定所述目标剩余帧的目标前向帧和目标后向帧；获得所述目标前向帧和所述目标剩余帧之间的前向光流图，以及所述目标后向帧和所述目标剩余帧之间的后向光流图；根据所述前向光流图和所述后向光流图，确定所述第一剩余光流序列。
[0008]在本公开的一些示例性实施例中，获取模块，用于对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播处理，得到第一更新采样梯度帧序列及第一更新采样掩膜序列；对所述第一更新采样梯度帧序列及所述第一更新采样掩膜序列进行泊松重建处理，获得第一更新采样帧序列；对所述第一更新采样帧序列进行逐帧的图像修复处理，获得所述第一已修复采样帧序列。
[0009]在本公开的一些示例性实施例中，获取模块，用于对所述第一采样帧序列进行光流估计处理，获得第一采样光流序列；对所述第一采样帧序列进行梯度像素转换处理，获得第一采样梯度帧序列；对所述第一采样光流序列中的掩膜区域进行光流填充处理，获得第一已填充采样光流序列；根据所述第一已填充采样光流序列对所述第一采样梯度帧序列与所述第一采样掩膜序列进行光流传播处理，获取所述第一更新采样梯度帧序列及所述第一更新采样掩膜序列。
[0010]在本公开的一些示例性实施例中，获取模块，用于获取所述待处理视频的第一帧序列及其对应的第一掩膜序列；若所述第一掩膜序列中的掩膜区域的占比小于占比阈值，则根据所述第一掩膜序列确定目标掩膜，所述目标掩膜的掩膜区域覆盖所述第一掩膜序列的掩膜区域；根据所述目标掩膜分别对所述第一帧序列和所述第一掩膜序列进行裁剪处理，获得所述第一目标帧序列和所述第一目标掩膜序列。
[0011]在本公开的一些示例性实施例中，获取模块，用于根据所述目标掩膜的掩膜区域的长和宽，获得所述目标掩膜的掩膜区域的对外扩展像素数；根据所述目标掩膜的掩膜区域的长、宽和所述对外扩展像素数，获得所述目标掩膜的掩膜区域的裁剪边界；根据所述目标掩膜的掩膜区域的裁剪边界以及所述目标掩膜的掩膜区域的长和宽，获得包括所述目标掩膜的掩膜区域的裁剪区域；根据所述裁剪区域，对所述第一帧序列和所述第一掩膜序列分别进行裁剪处理，获得所述第一目标帧序列和所述第一目标掩膜序列。
[0012]在本公开的一些示例性实施例中，获取模块，用于获取所述待处理视频的第一帧序列及其对应的第一掩膜序列；若所述第一掩膜序列中的掩膜区域的占比大于或等于占比阈值，则分别对所述第一帧序列和所述第一掩膜序列进行缩放处理，获得所述第一目标帧序列和所述第一目标掩膜序列。
[0013]在本公开的一些示例性实施例中，获取模块，用于获取所述待处理视频的完整帧序列以及对应的完整掩膜序列；分别对所述完整帧序列和所述完整掩膜序列进行镜头切分处理，获得单镜头帧序列及对应的单镜头掩膜序列；若所述单镜头帧序列及对应的单镜头掩膜序列超过时长阈值，则对所述单镜头帧序列及对应的单镜头掩膜序列进行分段处理，获得分段帧序列及对应的分段掩膜序列，所述分段帧序列包括第一帧序列，所述分段掩膜序列包括第一掩膜序列；根据所述第一帧序列及其对应的第一掩膜序列获得所述第一目标帧序列和所述第一目标掩膜序列。
[0014]在本公开的一些示例性实施例中，所述分段帧序列还包括第二帧序列，所述分段掩膜序列还包括第二掩膜序列；获取模块，用于分别将所述第一已修复采样帧序列和所述第一已修复剩余帧序列的尾帧插入所述第二帧序列和所述第二掩膜序列，作为所述第二帧序列和所述第二掩膜序列的首帧；对所述第二帧序列和所述第二掩膜序列进行处理，获得第二已修复采样帧序列以及第二已修复剩余帧序列；对所述第一已修复采样帧序列以及所述第一已修复剩余帧序列、以及所述第二已修复采样帧序列以及所述第二已修复剩余帧序列，获得所述已修复视频。
[0015]本公开实施例提供了一种计算机设备，包括处理器、存储器、输入输出接口；处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本公开任一实施例中的视频处理方法。
[0016]本公开实施例提供了一种计算机可读存储介质，计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取待处理视频的第一目标帧序列以及第一目标掩膜序列；分别对所述第一目标帧序列与所述第一目标掩膜序列进行抽帧处理，得到第一采样帧序列及其第一剩余帧序列，以及第一采样掩膜序列及其第一剩余掩膜序列；对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播和图像修复处理，获得第一已修复采样帧序列；对所述第一已修复采样帧序列、所述第一剩余帧序列以及所述第一剩余掩膜序列进行光流传播和图像修复处理，得到第一已修复剩余帧序列；对所述第一已修复采样帧序列以及所述第一已修复剩余帧序列进行合并处理，获得所述待处理视频的已修复视频。2.如权利要求1所述的方法，其特征在于，对所述第一已修复采样帧序列、所述第一剩余帧序列以及所述第一剩余掩膜序列进行光流传播和图像修复处理，得到第一已修复剩余帧序列，包括：对所述第一剩余帧序列进行梯度像素转换处理，获得第一剩余梯度帧序列；根据所述第一剩余帧序列和所述第一采样帧序列，获得第一剩余光流序列；对所述第一剩余光流序列中的掩膜区域进行光流填充处理，获得第一已填充剩余光流序列；对所述第一剩余梯度帧序列、所述第一已填充剩余光流序列、所述第一已修复采样帧序列以及所述第一剩余掩膜序列进行光流传播和图像修复处理，获得所述第一已修复剩余帧序列。3.如权利要求2所述的方法，其特征在于，根据所述第一剩余帧序列和所述第一采样帧序列，获得第一剩余光流序列，包括：确定所述第一剩余帧序列中的目标剩余帧；从所述第一采样帧序列中确定所述目标剩余帧的目标前向帧和目标后向帧；获得所述目标前向帧和所述目标剩余帧之间的前向光流图，以及所述目标后向帧和所述目标剩余帧之间的后向光流图；根据所述前向光流图和所述后向光流图，确定所述第一剩余光流序列。4.如权利要求1至3任一项所述的方法，其特征在于，对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播和图像修复处理，获得第一已修复采样帧序列，包括：对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播处理，得到第一更新采样梯度帧序列及第一更新采样掩膜序列；对所述第一更新采样梯度帧序列及所述第一更新采样掩膜序列进行泊松重建处理，获得第一更新采样帧序列；对所述第一更新采样帧序列进行逐帧的图像修复处理，获得所述第一已修复采样帧序列。5.如权利要求4所述的方法，其特征在于，对所述第一采样帧序列与所述第一采样掩膜序列进行光流传播处理，得到第一更新采样梯度帧序列及第一更新采样掩膜序列，包括：对所述第一采样帧序列进行光流估计处理，获得第一采样光流序列；对所述第一采样帧序列进行梯度像素转换处理，获得第一采样梯度帧序列；
对所述第一采样光流序列中的掩膜区域进行光流填充处理，获得第一已填充采样光流序列；根据所述第一已填充采样光流序列对所述第一采样梯度帧序列与所述第一采样掩膜序列进行光流传播处理，获取所述第一更新采样梯度帧序列及所述第一更新采样掩膜序列。6.如权利要求1至3任一项所述的方法，其特征在于，获取待处理视频的第一目标帧序列以及第一目标掩膜序列，包括：获取所述待处理视频的第一帧序列及其对应的第一掩膜序列；若所述第一掩膜序列中的掩膜区域的占比小于占比阈值，则根据所述第一掩膜序列确定目标掩膜，所述目标掩膜的掩膜区域覆盖所述第一掩膜序列的掩膜区域；根据所述目标掩膜分别对所述第一帧序列和所述第一掩膜序列进行裁剪处理，获得所述第一目标帧序列和所述第一目标掩膜序列。7.如权利要求6所述的方法，其特征在于，根据所述目标掩膜分别对所述第一帧序列和所述第一掩膜序列进行裁剪处理，获得所述第一目标帧序列和所述第一目标掩膜序列，包括：根据所述目标掩膜的掩膜区域的长和宽，获得所述目标掩膜的掩膜区域的对外扩展像素...

【专利技术属性】
技术研发人员：钟立耿，朱允全，谯睿智，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：