图像处理方法、装置、电子设备、介质及程序产品制造方法及图纸

本公开实施例公开了一种图像处理方法，包括：从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；确定所述第一中间图像与参考目标对象图像的关联度；获取所述待处理图像的估计掩模；根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。待处理图像中分割出所述目标对象。待处理图像中分割出所述目标对象。

Image processing methods, devices, electronic equipment, media and program products

【技术实现步骤摘要】
图像处理方法、装置、电子设备、介质及程序产品


[0001]本公开涉及图像处理
，具体涉及一种图像处理方法、装置、电子设备、介质及程序产品。

技术介绍

[0002]随着互联网和通信技术的快速发展，视频成为信息传递的重要手段之一。但是，视频中通常会含有很多对象，例如人、动物、其他物体，等等，而并不是所有对象都是需要的。有些视频会存在一些多余的对象，从而干扰整个视频的信息转递。为了解决该问题，通常会采用技术手段对视频进行处理，擦除其中不需要的对象，并将被擦除对象所在的部分用周围的信息补齐，得到擦除目标对象后的干净视频，以减少后期处理的时间。然而，目前使用的擦除方法包括人工目标擦除、基于分割算法进行擦除等，这些方法都非常复杂与耗时。

技术实现思路

[0003]为了解决相关技术中的问题，本公开实施例提供一种图像处理方法、装置、电子设备、介质及程序产品。
[0004]第一方面，本公开实施例中提供了一种图像处理方法，包括：
[0005]从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
[0006]确定所述第一中间图像与参考目标对象图像的关联度；
[0007]获取所述待处理图像的估计掩模(mask)；
[0008]根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
[0009]结合第一方面，本公开在第一方面的第一种实现方式中，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：
[0010]确定所述待处理图像中的目标区域，所述目标区域包括所述目标对象；
[0011]将所述待处理图像位于目标区域中的部分作为所述第一中间图像；
[0012]将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。
[0013]结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中：
[0014]所述待处理图像是视频图像序列中的图像；
[0015]所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。
[0016]结合第一方面的第一种实现方式，本公开在第一方面的第三种实现方式中其中：
[0017]所述待处理图像是视频图像序列中的图像；
[0018]所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正
得到的。
[0019]结合第一方面，本公开在第一方面的第四种实现方式中，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：
[0020]提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；
[0021]计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。
[0022]结合第一方面，本公开在第一方面的第五种实现方式中，所述获取所述待处理图像的估计掩模，包括：
[0023]将图像
‑
掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像
‑
掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。
[0024]结合第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述将图像
‑
掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：
[0025]对图像
‑
掩模对集合中的每个图像
‑
掩模对进行特征编码；
[0026]对所述待处理图像进行特征编码；
[0027]将所述每个图像
‑
掩模对的特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。
[0028]结合第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，所述参考目标对象图像是预先设置的目标对象图像或使用所述图像
‑
掩模对中的掩模对相应图像进行分割得到的目标对象图像。
[0029]结合第一方面，本公开在第一方面的第八种实现方式中，所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：
[0030]将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。
[0031]结合第一方面，本公开在第一方面的第九种实现方式中，所述方法还包括：
[0032]基于所述掩模擦除所述待处理图像中的所述目标对象；
[0033]使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全。
[0034]结合第一方面的第九种实现方式，本公开在第一方面的第十种实现方式中，所述待处理图像是视频图像序列中的图像，所述使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全，包括：
[0035]基于所述视频图像序列中所述待处理图像之前的指定图像的补全结果、所述待处理图像之后的指定图像的补全结果，使用图像修补算法处理擦除所述目标对象后的所述待处理图像，以对擦除所述目标对象后的所述待处理图像进行补全。
[0036]第二方面，本公开实施例提供了一种图像处理方法，包括：
[0037]显示参考图像；
[0038]根据用户对所述参考图像的操作，从所述参考图像中确定参考目标对象图像，所述参考目标对象图像包含目标对象；
[0039]显示输出图像，所述输出图像是从待处理图像去除所述目标对象后的图像。
[0040]结合第二方面，本公开在第二方面的第一种实现方式中，所述输出图像是使用根
据本公开第一方面所述的方法获得的掩模从所述待处理图像擦除所述目标对象，并使用图像修补算法对擦除所述目标对象后的所述待处理图像进行补全得到的。
[0041]第三方面，本公开实施例中提供了一种图像处理装置，包括：
[0042]第一获取模块，被配置为从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；
[0043]第一确定模块，被配置为确定所述第一中间图像与参考目标对象图像的关联度；
[0044]第二获取模块，被配置为获取所述待处理图像的估计掩模；
[0045]第三获取模块，被配置为根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。
[0046]结合第三方面，本公开在第三方面的第一种实现方式中，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：
[0047]确定所述待处理图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像；确定所述第一中间图像与参考目标对象图像的关联度；获取所述待处理图像的估计掩模；根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，所述掩模用于从所述待处理图像中分割出所述目标对象。2.根据权利要求1所述的方法，其中，所述从待处理图像获取包括目标对象的第一中间图像和包括所述目标对象的第二中间图像，包括：确定所述待处理图像中的目标区域，所述目标区域包括所述目标对象；将所述待处理图像位于目标区域中的部分作为所述第一中间图像；将所述待处理图像位于所述目标区域中的部分和围绕所述目标区域的部分作为所述第二中间图像。3.根据权利要求2所述的方法，其中：所述待处理图像是视频图像序列中的图像；所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述参考目标对象图像，使用目标跟踪算法得到的。4.根据权利要求2所示的方法，其中：所述待处理图像是视频图像序列中的图像；所述目标区域是基于所述视频图像序列中所述待处理图像的前一帧图像和所述目标对象图像，使用目标跟踪算法并使用所述前一帧图像的掩模对目标跟踪结果进行校正得到的。5.根据权利要求1所述的方法，其中，所述确定所述第一中间图像与参考目标对象图像的关联度，包括：提取所述第一中间图像的图像特征和所述参考目标对象图像的图像特征；计算所述第一中间图像的图像特征和所述参考目标对象图像的图像特征的互相关值作为所述关联度。6.根据权利要求1所述的方法，其中，所述获取所述待处理图像的估计掩模，包括：将图像
‑
掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，其中，所述图像
‑
掩模对包括视频图像序列中所述待处理图像之前的先前图像和所述先前图像的掩模，所述先前图像的掩模的置信度高于预设置信度。7.根据权利要求6所述的方法，其中，所述将图像
‑
掩模对集合和所述待处理图像输入掩模估计模型，获取所述估计掩模，包括：对图像
‑
掩模对集合中的每个图像
‑
掩模对进行特征编码；对所述待处理图像进行特征编码；将所述每个图像
‑
掩模对的特征编码和所述待处理图像的特征编码进行特征匹配，将特征匹配结果和所述待处理图像的特征编码输入第一解码器，获取所述估计掩模。8.根据权利要求7所述的方法，其中，所述参考目标对象图像是预先设置的目标对象图像或使用所述图像
‑
掩模对中的掩模对相应图像进行分割得到的目标对象图像。
9.根据权利要求1所述的方法，其中，所述根据所述关联度、所述估计掩模和所述第二中间图像，获取所述待处理图像的掩模，包括：将所述关联度、所述估计掩模和所述第二中间图像的特征编码输入第二解码器，获取所述掩模。10...

【专利技术属性】
技术研发人员：陈锦生，于博，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：