图像分割方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请提供了一种图像分割方法、装置、设备、存储介质及程序产品；可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景；方法包括：获取包括目标对象的待分割图像、包括目标对象的支持图像、以及针对支持图像中目标对象的掩码图像，待分割图像和支持图像归属于第一类别；基于掩码图像，对支持图像进行对象特征提取，得到目标对象的对象原型特征；获取至少一个第二类别中各第二类别的类别原型特征，第二类别不同于第一类别；基于对象原型特征以及各第二类别的类别原型特征，构建目标对象的跨类原型特征；基于对象原型特征和跨类原型特征，对待分割图像进行分割，得到对应目标对象的第一分割结果；通过本申请，能够提高图像分割的分割效果。割的分割效果。割的分割效果。

【技术实现步骤摘要】
图像分割方法、装置、设备、存储介质及程序产品


[0001]本申请涉及人工智能
，尤其涉及一种图像分割方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
[0003]图像分割也是人工智能的一个重要应用方向。相关技术中，在对包括对象的待分割图像进行图像分割时，是基于包括该对象的、且与待分割图像属于同一类别的支持图像实现的。但是，仅采用与待分割图像为同类别的支持图像进行图像分割，所达到的图像分割效果是有限的。

技术实现思路

[0004]本申请实施例提供一种图像分割方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高图像分割的分割效果。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种图像分割方法，包括：
[0007]获取包括目标对象的待分割图像，并获取包括所述目标对象的支持图像、以及针对所述支持图像中所述目标对象的掩码图像，所述待分割图像和所述支持图像归属于第一类别；
[0008]基于所述掩码图像，对所述支持图像进行对象特征提取，得到所述目标对象的对象原型特征；
>[0009]获取至少一个第二类别中各所述第二类别的类别原型特征，所述第二类别不同于所述第一类别；
[0010]基于所述对象原型特征以及各所述第二类别的类别原型特征，构建所述目标对象的跨类原型特征；
[0011]基于所述对象原型特征和所述跨类原型特征，对所述待分割图像进行分割，得到对应所述目标对象的第一分割结果。
[0012]在上述方案中，所述分割的过程是通过图像分割模型实现的；所述获取至少一个第二类别中各所述第二类别的类别原型特征，包括：
[0013]获取用于训练所述图像分割模型的分割图像样本集、以及所述分割图像样本集中各所述分割图像样本所归属的图像类别；
[0014]针对各所述分割图像样本所归属的图像类别，将所述分割图像样本所归属的图像
类别作为所述第二类别，并
[0015]将所述分割图像样本所归属的图像类别的图像类别原型特征，作为所述第二类别的类别原型特征。
[0016]在上述方案中，所述分割图像样本集包括：多个包括对象样本的分割图像样本，各所述分割图像样本携带相应标签；所述图像分割模型的训练过程包括：
[0017]针对各所述分割图像样本分别执行如下处理：
[0018]获取包括所述对象样本的支持图像样本、以及针对所述支持图像样本中所述对象样本的掩码图像样本，所述分割图像样本的图像类别和所述支持图像样本的图像类别均为第三类别；
[0019]基于所述掩码图像样本，对所述支持图像样本进行对象特征提取，得到所述对象样本的对象样本原型特征；
[0020]获取至少一个第四类别中各所述第四类别的类别原型特征，所述第四类别不同于所述第三类别；
[0021]基于所述对象样本原型特征以及各所述第四类别的类别原型特征，构建所述对象样本的样本跨类原型特征；
[0022]基于所述对象样本原型特征和所述样本跨类原型特征，调用所述图像分割模型对所述分割图像样本进行分割，得到样本分割结果；
[0023]基于所述样本分割结果和所述标签的差异，更新所述图像分割模型的模型参数，以对所述图像分割模型进行训练。
[0024]本申请实施例还提供一种图像分割装置，包括：
[0025]第一获取模块，用于获取包括目标对象的待分割图像，并获取包括所述目标对象的支持图像、以及针对所述支持图像中所述目标对象的掩码图像，所述待分割图像和所述支持图像归属于第一类别；
[0026]特征提取模块，用于基于所述掩码图像，对所述支持图像进行对象特征提取，得到所述目标对象的对象原型特征；
[0027]第二获取模块，用于获取至少一个第二类别中各所述第二类别的类别原型特征，所述第二类别不同于所述第一类别；
[0028]特征构建模块，用于基于所述对象原型特征以及各所述第二类别的类别原型特征，构建所述目标对象的跨类原型特征；
[0029]图像分割模块，用于基于所述对象原型特征和所述跨类原型特征，对所述待分割图像进行分割，得到对应所述目标对象的第一分割结果。
[0030]在上述方案中，所述第一获取模块，还用于获取包括所述目标对象的支持图像；对所述支持图像进行所述目标对象的识别，得到所述支持图像中对应所述目标对象的第一区域，并确定所述支持图像中除所述第一区域之外的第二区域；以所述第一区域为前景，以所述第二区域为背景，对所述支持图像进行前景和背景的分割，得到针对所述支持图像中所述目标对象的所述掩码图像。
[0031]在上述方案中，所述第一获取模块，还用于通过表征所述前景的第一数值代表处于所述第一区域的像素点，并通过表征所述背景的第二数值代表处于所述第二区域的像素点，以对所述支持图像进行前景和背景的分割，得到针对所述支持图像中所述目标对象的
所述掩码图像，所述第一数值不同于所述第二数值。
[0032]在上述方案中，所述特征提取模块，还用于对所述支持图像进行特征图提取，得到所述支持图像的支持特征图；基于所述掩码图像，从所述支持特征图中提取所述目标对象的特征，得到所述目标对象的对象原型特征。
[0033]在上述方案中，所述特征提取模块，还用于对所述支持图像进行视觉特征图提取，得到所述支持图像的视觉特征图，并对所述支持图像进行语义特征图提取，得到所述支持图像的语义特征图；所述特征提取模块，还用于将所述视觉特征图和所述语义特征图进行合并处理，得到合并特征图；基于所述掩码图像，从所述合并特征图中提取所述目标对象的特征，得到所述目标对象的对象原型特征。
[0034]在上述方案中，所述特征提取模块，还用于基于所述掩码图像，从所述支持特征图中提取所述目标对象所处区域的区域特征；按照目标池化窗口，对所述区域特征进行均值池化处理，得到所述目标对象的所述对象原型特征。
[0035]在上述方案中，所述特征构建模块，还用于针对各所述第二类别，确定所述对象原型特征和所述第二类别的类别原型特征之间的原型相似度，并将所述原型相似度作为所述第二类别的类别原型特征的更新权重值，所述更新权重值，用于指示所述对象原型特征对于更新所述第二类别的类别原型特征的影响程度；针对各所述第二类别，基于所述对象原型特征、以及所述第二类别的类别原型特征的更新权重值，对所述第二类别的类别原型特征进行更新，得到所述第二类别的更新类别原型特征；基于至少一个所述第二类别的更新类别原型特征，构建得到所述目标对象的跨类原型特征。
[0036]在上述方案中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割方法，其特征在于，所述方法包括：获取包括目标对象的待分割图像，并获取包括所述目标对象的支持图像、以及针对所述支持图像中所述目标对象的掩码图像，所述待分割图像和所述支持图像归属于第一类别；基于所述掩码图像，对所述支持图像进行对象特征提取，得到所述目标对象的对象原型特征；获取至少一个第二类别中各所述第二类别的类别原型特征，所述第二类别不同于所述第一类别；基于所述对象原型特征以及各所述第二类别的类别原型特征，构建所述目标对象的跨类原型特征；基于所述对象原型特征和所述跨类原型特征，对所述待分割图像进行分割，得到对应所述目标对象的第一分割结果。2.如权利要求1所述的方法，其特征在于，所述获取包括所述目标对象的支持图像、以及针对所述支持图像中所述目标对象的掩码图像，包括：获取包括所述目标对象的支持图像；对所述支持图像进行所述目标对象的识别，得到所述支持图像中对应所述目标对象的第一区域，并确定所述支持图像中除所述第一区域之外的第二区域；以所述第一区域为前景，以所述第二区域为背景，对所述支持图像进行前景和背景的分割，得到针对所述支持图像中所述目标对象的所述掩码图像。3.如权利要求2所述的方法，其特征在于，所述以所述第一区域为前景，以所述第二区域为背景，对所述支持图像进行前景和背景的分割，得到针对所述支持图像中所述目标对象的所述掩码图像，包括：通过表征所述前景的第一数值代表处于所述第一区域的像素点，并通过表征所述背景的第二数值代表处于所述第二区域的像素点，以对所述支持图像进行前景和背景的分割，得到针对所述支持图像中所述目标对象的所述掩码图像，所述第一数值不同于所述第二数值。4.如权利要求1所述的方法，其特征在于，所述基于所述掩码图像，对所述支持图像进行对象特征提取，得到所述目标对象的对象原型特征，包括：对所述支持图像进行特征图提取，得到所述支持图像的支持特征图；基于所述掩码图像，从所述支持特征图中提取所述目标对象的特征，得到所述目标对象的对象原型特征。5.如权利要求4所述的方法，其特征在于，所述对所述支持图像进行特征图提取，得到所述支持图像的支持特征图，包括：对所述支持图像进行视觉特征图提取，得到所述支持图像的视觉特征图，并对所述支持图像进行语义特征图提取，得到所述支持图像的语义特征图；所述基于所述掩码图像，从所述支持特征图中提取所述目标对象的特征，得到所述目标对象的对象原型特征，包括：将所述视觉特征图和所述语义特征图进行合并处理，得到合并特征图；基于所述掩码图像，从所述合并特征图中提取所述目标对象的特征，得到所述目标对
象的对象原型特征。6.如权利要求4所述的方法，其特征在于，所述基于所述掩码图像，从所述支持特征图中提取所述目标对象的特征，得到所述目标对象的对象原型特征，包括：基于所述掩码图像，从所述支持特征图中提取所述目标对象所处区域的区域特征；按照目标池化窗口，对所述区域特征进行均值池化处理，得到所述目标对象的所述对象原型特征。7.如权利要求1所述的方法，其特征在于，所述基于所述对象原型特征以及各所述第二类别的类别原型特征，构建所述目标对象的跨类原型特征，包括：针对各所述第二类别，确定所述对象原型特征和所述第二类别的类别原型特征之间的原型相似度，并将所述原型相似度作为所述第二类别的类别原型特征的更新权重值，所述更新权重值，用于指示所述对象原型特征对于更新所述第二类别的类别原型特征的影响程度；针对各所述第二类别，基于所述对象原型特征、以及所述第二类别的类别原型特征的更新权重值，对所述第二类别的类别原型特征进行更新，得到所述第二类别的更新类别原型特征；基于至少一个所述第二类别的更新类别原型特征，构建得到所述目标对象的跨类原型特征。8.如权利要求7所述的方法，其特征在于，所述确定所述对象原型特征和所述第二类别的类别原型特征之间的原型相似度，包括：确定所述对象原型特征的第一投影特征，并确定所述第二类别的类别原型特征的第二投影特征；确定所述第一投影特征和所述第二投影特征的投影特征相似度，并将所述投影特征相似度，作为所述对象原型特征和所述第二类别的类别原型特征之间的原型相似度。9.如权利要求7所述的方法，其特征在于，所述第二类别的类别原型特征为多个，所述确定所述对象原型特征和所述第二类别的类别原型特征之间的原型相似度，包括：针对所述第二类别的各所述类别原型特征，确定所述对象原型特征和所述类别原型特征之间的原型相似度；所述将所述原型相似度作为所述第二类别的类别原型特征的更新权重值，包括：针对所述第二类别的各所述类别原型特征，将所述类别原型特征对应的所述原型相似度，作为所述类别原型特征的更新权重值；所述基于所述对象原型特征、以及所述第二类别的类别原型特征的更新权重值，对所述第二类别的类别原型特征进行更新，得到所述第二类别的更新类别原型特征，包括：针对所述第二类别的各所述类别原型特征，基于所述对象原型特征、以及所述类别原型特征的更新权重值，对所述类别原型特征进行更新，得到所述第二类别的子类别原型特征；对多个所述子类别原型特征进行平均处理，得到平均类别原型特征，并将所述平均类别原型特征，作为所述第二类别的更新类别原型特征。10.如权利要求7所述的方法，其特征在于，所述基于所述对象原型特征、以及所述第二
类别的类别原型特征的更新权...

【专利技术属性】
技术研发人员：周逸峰，吴凯，聂强，刘永，高斌斌，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：