【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种图像处理方法、装置及电子设备。
技术介绍
1、在对影视剧或综艺进行二次创作时，用户期望遮盖掉视频中的台词、贴图、广告等待遮盖对象。
2、相关技术中，通常是在对包括有待遮盖对象的视频帧进行遮罩后，得到该视频帧对应的遮罩视频帧，从而，基于上述遮罩视频帧，利用视频修复模型对上述待遮盖对象所在区域进行修复。然而，在上述相关技术中，在进行待遮盖对象修复时，只能针对同一待遮盖对象进行修复。例如，针对视频画面中的“xx酸奶”进行修复。
3、基于此，如何对视频画面中所存在的多个待遮盖对象进行修复，成为当前亟需解决的问题。
技术实现思路
1、本申请实施例的目的在于提供一种图像处理方法、装置及电子设备，以实现对同一视频画面中所存在的多个待遮盖对象的修复。具体技术方案如下：
2、在本申请实施例提供的第一方面，首先，提供了一种图像处理方法，所述方法包括：
3、获取待处理视频中包括待遮盖对象的各个指定视频帧；
4、基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段；其中，每个指定视频片段中的各指定视频帧的播放时刻连续且包括指定待遮盖对象，每个指定视频片段中的任意两个相邻指定视频帧中的所述指定待遮盖对象的重叠部分的面积满足指定条件；
5、基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，
6、针对每个指定视频片段，将该指定视频片段中，各个指定视频帧所包括的所述指定待遮盖对象的待处理图像确定为待处理图像集合，并基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合。
7、可选的，一种具体实现方式中，所述基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段，包括：
8、遍历所述待处理视频中的各个视频帧，在遍历到每个视频帧时，将所遍历的视频帧确定为当前帧，并判断所述当前帧和所述当前帧的上一帧是否均为指定视频帧；
9、如果所述当前帧是所述指定视频帧，且所述上一帧不是所述指定视频帧，则确定所述当前帧属于当前指定视频片段的起始帧，并遍历下一帧，直至遍历到所述待处理视频中的最后一个视频帧时，得到各个指定视频片段；
10、如果所述当前帧和所述上一帧均是所述指定视频帧，则遍历所述当前帧中的每个指定待遮盖对象，并在遍历到每个指定待遮盖对象时，确定所述上一帧中是否包括与该指定待遮盖对象的交并比大于指定阈值的目标对象；
11、若所述上一帧中包括所述目标对象，则确定所述当前帧和所述上一帧属于所述目标对象的同一指定视频片段，并返回所述遍历下一帧的步骤；
12、若所述上一帧中不包括所述目标对象，则确定所述上一帧属于上一指定视频片段，并将所述当前帧确定为属于所述目标对象的当前指定视频片段，并返回所述遍历下一帧的步骤；
13、如果所述当前帧和所述上一帧均不是所述指定视频帧，则遍历下一帧；
14、如果所述当前帧不是所述指定视频帧，且所述上一帧是所述指定视频帧，则确定所述上一帧属于上一指定视频片段，并遍历下一帧。
15、可选的，一种具体实现方式中，所述基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括所述指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中所述指定待遮盖对象的待处理图像，包括：
16、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象的中心点坐标；以所述中心点坐标作为区域中心坐标，按照预设尺寸，计算得到包括有所述指定待遮盖对象的区域的各个顶点的顶点坐标；在所述遮罩视频帧中截取全部顶点坐标所构成的区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像；
17、或者，
18、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象所处区域的各个顶点，将每个顶点沿该顶点对应的预设方向移动，直至各个顶点移动后所构成的目标区域的尺寸符合预设尺寸；将在该指定视频帧的遮罩视频帧中，截取所述目标区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像；
19、或者，
20、针对每个指定视频帧，在该指定视频帧对应的遮罩视频帧中，基于该指定视频帧中的每个指定待遮盖对象的图像位置信息，确定该指定待遮盖对象所处区域的各个指定边；将每个指定边沿垂直于该指定边所在的方向移动，直至各个指定边延伸后所构成的目标区域的尺寸符合预设尺寸；将在该指定视频帧的遮罩视频帧中，截取所述目标区域对应的图像，作为该指定视频帧中该指定待遮盖对象的待处理图像。
21、可选的，一种具体实现方式中，所述基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：
22、针对每个指定视频片段，将关于该指定视频片段中所述指定待遮盖对象的所述待处理图像集合，输入至预设修复模型，并将所述预设修复模型的输出结果，确定为关于该指定视频片段中所述指定待遮盖对象的目标图像集合；
23、其中，所述预设修复模型是基于多个训练样本训练得到的，每个训练样本包括：指定样本视频帧的遮罩样本视频帧的待处理样本图像集合和该指定样本视频帧对应的目标样本图像集合。
24、可选的，一种具体实现方式中，所述针对每个指定视频片段，将关于该指定视频片段中所述指定待遮盖对象的所述待处理图像集合，输入至预设修复模型，并将所述预设修复模型的输出结果，确定为关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：
25、针对每个指定视频片段，将该指定视频片段中的每个指定待遮盖对象对应的待处理图像，按照该指定待遮盖对象所在指定视频帧在所述待处理视频中的播放顺序，拼接为该指定待遮盖对象对应的视频流序列；
26、将该指定视频片段中每个指定待遮盖对象对应的视频流序列，输入至预设修复模型，并将所述预设修复模型的输出结果确定为关于该指定视频片段中该指定待遮盖对象的目标图像集合。
27、可选的，一种具体实现方式中，所述方法还包括：
28、本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括所述指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中所述指定待遮盖对象的待处理图像，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：
5.根据权利要求4所述的方法，其特征在于，所述针对每个指定视频片段，将关于该指定视频片段中所述指定待遮盖对象的所述待处理图像集合，输入至预设修复模型，并将所述预设修复模型的输出结果，确定为关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：
<...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于每个指定视频帧所包括待遮盖对象的图像位置信息，以及每个指定视频帧在所述待处理视频中的播放时刻，对所述待处理视频进行切片处理，得到所述待处理视频中的各个指定视频片段，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于每个指定视频帧中每个指定待遮盖对象的图像位置信息，在该指定视频帧的遮罩视频帧中，截取包括所述指定待遮盖对象的预设尺寸的图像，作为该指定视频帧中所述指定待遮盖对象的待处理图像，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像集合，对该指定视频片段中的所述指定待遮盖对象进行修复，得到关于该指定视频片段中所述指定待遮盖对象的目标图像集合，包括：
5.根据权利要求4所述的方法...
【专利技术属性】
技术研发人员：屈杨，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。