视频人物的去除方法、装置及设备及计算机可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种视频人物的去除方法、装置及设备及计算机可读存储介质，去除方法包括：获取目标视频中目标人物的特征掩码；根据所述目标人物的特征掩码从所述目标视频中去除所述目标人物；获取去除所述目标人物后具有缺失部分的视频帧图像，根据在所述目标视频中邻近所述具有缺失部分的视频帧图像附近的视频帧图像数据对所述具有缺失部分的视频帧图像中的缺失部分进行修复。本发明专利技术可以快速准确的去除目标视频中目标人物，且去除目标人物后目标视频不会抖动。

Video character removal methods, devices and devices and computer readable storage media

【技术实现步骤摘要】
视频人物的去除方法、装置及设备及计算机可读存储介质
本专利技术实施例涉及视频处理
，具体涉及一种视频人物的去除方法、装置及设备。
技术介绍
当前为了去除视频中某个人物，比如一些污点艺人，需要人工逐帧修改图片，修图的工作量巨大，视频每秒25-30帧为例的帧率会造成大量的修图工作量，这就带来了人力成本的增加。现有的一些基于深度学习网络的方法也是以帧为单位作为单独的图片进行掩码选取和修补，这样的深度学习方法不仅在图片中出现多人时难以定位特定人物，而且很容易造成视频前后帧抖动，导致视频不连贯。
技术实现思路
本专利技术实施例的目的在于提供一种视频人物的去除方法、装置及设备，用以解决现有无法快速准确的去除目标视频中目标人物，且去除目标人物后造成视频抖动的问题。为实现上述目的，本专利技术实施例主要提供如下技术方案：第一方面，本专利技术实施例提供了一种视频人物的去除方法，包括：获取目标视频中目标人物的特征掩码；根据所述目标人物的特征掩码从所述目标视频中去除所述目标人物；获取去除所述目标人物后具有缺失部分的待修复视频帧图像数据，根据所述待修复视频帧图像数据的邻近视频帧图像数据对所述待修复视频帧图像数据中的缺失部分进行修复。进一步地，所述获取目标人物的特征掩码，具体包括：在所述目标视频中第一次出现所述目标人物的视频帧中，利用预设孪生网络获取所述目标人物的第一特征图；利用所述预设孪生网络对所述目标视频的剩余视频帧图像数据提取待匹配特征图，根据所述待匹配特征图与所述第一特征图基于像素点的相互关联度，获取所述目标人物的特征掩码。进一步地，所述根据所述目标人物的特征掩码从所述目标视频中去除所述目标人物，具体包括：提供人物数据集；对所述人物数据集进行训练得到人物轮廓的掩码提取网络；根据所述掩码提取网络和所述目标人物的特征掩码得到所述目标人物的精确特征掩码；根据所述目标人物的精确特征掩码从所述目标视频中去除所述目标人物。进一步地，所述获取去除所述目标人物后具有缺失部分的视频帧图像，根据所述待修复视频帧图像数据的邻近视频帧图像数据对所述待修复视频帧图像数据中的缺失部分进行修复，具体包括：获取所述目标视频帧图像Xt的前m帧图像Xt-m、前n帧图像Xt-n、前1帧图像Xt-1、后n帧图像Xt+n和后m帧图像Xt+m，组成目标图像组；根据所述目标图像组生成第二特征图；根据所述目标视频帧图像Xt生成第三特征图；根据所述第二特征图和所述第三特征图对所述目标视频帧图像的缺失部分进行修复。第二方面，本专利技术实施例还提供一种视频人物的去除装置，包括：特征掩码获取模块，用于获取目标视频中目标人物的特征掩码；视频处理模块，用于根据所述目标人物的特征掩码从所述目标视频中去除所述目标人物，所述视频处理模块还用于获取去除所述目标人物后具有缺失部分的待修复视频帧图像数据，根据所述待修复视频帧图像数据的邻近视频帧图像数据对所述待修复视频帧图像数据中的缺失部分进行修复。进一步地，所述特征掩码获取模块具体用于在所述目标视频中第一次出现所述目标人物的视频帧中，利用预设孪生网络获取所述目标人物的第一特征图；利用所述预设孪生网络对所述目标视频的剩余视频帧图像数据提取待匹配特征图，根据所述待匹配特征图与所述第一特征图基于像素点的相互关联度，获取所述目标人物的特征掩码。进一步地，所述视频处理模块具体用于提供人物数据集；对所述人物数据集进行训练得到人物轮廓的掩码提取网络；根据所述掩码提取网络和所述目标人物的特征掩码得到所述目标人物的精确特征掩码；根据所述目标人物的精确特征掩码从所述目标视频中去除所述目标人物。进一步地，所述视频处理模块具体用于获取所述目标视频帧图像Xt的前m帧图像Xt-m、前n帧图像Xt-n、前1帧图像Xt-1、后n帧图像Xt+n和后m帧图像Xt+m，组成目标图像组；根据所述目标图像组生成第二特征图；根据所述目标视频帧图像Xt生成第三特征图；根据所述第二特征图和所述第三特征图对所述目标视频帧图像的缺失部分进行修复。第三方面，本专利技术实施例还提供一种电子设备，包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如第一方面所述的视频人物的去除方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面所述的视频人物的去除方法。本专利技术实施例提供的技术方案至少具有如下优点：本专利技术实施例提供的视频人物的去除方法、装置及设备，对于视频中特定的需要擦除的人物而言，只要在视频第一帧选中该人物，之后掩码跟踪网络会自动跟踪该人物，无需人工干预；在获取掩码跟踪时，使用了预训练的maskhead精细化人物掩码；用视频掩码跟踪网络进行掩码跟踪，该网络的输出作为修复网络的输入，可以提高处理速度。附图说明图1为本专利技术实施例的视频人物的去除方法的流程图；图2为本专利技术实施例的视频人物的去除方法中提取特征图的原理图；图3为本专利技术实施例的视频人物的去除方法中使用掩码处理网络进行修正的原理图；图4为本专利技术实施例的视频人物的去除方法中MaskFaster-Rcnn模型的示意图；图5为本专利技术实施例的视频人物的去除方法中得到精确特征掩码的原理图；图6为本专利技术实施例的视频人物的去除方法中图像修复的原理图；图7为本专利技术实施例的视频人物的去除装置的结构框图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本专利技术。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。图1为本专利技术实施例的视频人物的去除方法的流程图。如图1所示，本专利技术实施例的视频人物的去除方法，包括：S1：获取目标视频中目标人物的特征掩码。在本专利技术的一个实施例中，步骤S1具体包括：S1-1：在目标视频中第一次出现目标人物的视频帧中，利用预设孪生网络获取目标人物的第一特征图。具体地，在目标视频中首次出现目标人物的视频帧中，确定需要去除的目标人物，具体为利用孪生网络fΘ提取出相应的特征图(featuremap)。S1-2：利用预设孪生网络在目标视频的剩余视频帧图像数据提取待匹配特征图，根据待匹配特征图与第一特征图基于像素点的相互关联度，获取目标人物的特征掩码。具体地，利用上述孪生网络fΘ，获取剩余视频帧中某些区域的featuremap，利用卷积计算出这两个featuremap基于像素点的相互本文档来自技高网...

【技术保护点】
1.一种视频人物的去除方法，其特征在于，包括：/n获取目标视频中目标人物的特征掩码：在所述目标视频中第一次出现所述目标人物的视频帧中，利用预设孪生网络获取所述目标人物的第一特征图；/n利用所述预设孪生网络对所述目标视频的剩余视频帧图像数据提取待匹配特征图，根据所述待匹配特征图与所述第一特征图基于像素点的相互关联度，获取所述目标人物的特征掩码；/n提供人物数据集；/n对所述人物数据集进行训练得到人物轮廓的掩码提取网络；/n根据所述掩码提取网络和所述目标人物的特征掩码得到所述目标人物的精确特征掩码；/n根据所述目标人物的精确特征掩码从所述目标视频中去除所述目标人物；/n获取去除所述目标人物后具有缺失部分的待修复视频帧图像数据，根据所述待修复视频帧图像数据的邻近视频帧图像数据对所述待修复视频帧图像数据中的缺失部分进行修复。/n

【技术特征摘要】
1.一种视频人物的去除方法，其特征在于，包括：
获取目标视频中目标人物的特征掩码：在所述目标视频中第一次出现所述目标人物的视频帧中，利用预设孪生网络获取所述目标人物的第一特征图；
利用所述预设孪生网络对所述目标视频的剩余视频帧图像数据提取待匹配特征图，根据所述待匹配特征图与所述第一特征图基于像素点的相互关联度，获取所述目标人物的特征掩码；
提供人物数据集；
对所述人物数据集进行训练得到人物轮廓的掩码提取网络；
根据所述掩码提取网络和所述目标人物的特征掩码得到所述目标人物的精确特征掩码；
根据所述目标人物的精确特征掩码从所述目标视频中去除所述目标人物；
获取去除所述目标人物后具有缺失部分的待修复视频帧图像数据，根据所述待修复视频帧图像数据的邻近视频帧图像数据对所述待修复视频帧图像数据中的缺失部分进行修复。


2.根据权利要求1所述的视频人物的去除方法，其特征在于，所述获取去除所述目标人物后具有缺失部分的视频帧图像，根据所述待修复视频帧图像数据的邻近视频帧图像数据对所述待修复视频帧图像数据中的缺失部分进行修复，具体包括：
获取所述目标视频帧图像Xt的前m帧图像Xt-m、前n帧图像Xt-n、前1帧图像Xt-1、后n帧图像Xt+n和后m帧图像Xt+m，组成目标图像组；
根据所述目标图像组生成第二特征图；
根据所述目标视频帧图像Xt生成第三特征图；
根据所述第二特征图和所述第三特征图对所述目标视频帧图像的缺失部分进行修复。


3.一种视频人物的去除装置，其特征在于，包括：
特征掩码获取模块，用于获取目标视频中目标人物的特征掩码，所述特征掩码获取模块具体用于在所述目标视频中...

【专利技术属性】
技术研发人员：朱州，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11