一种语义分割方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及一种语义分割方法、装置、电子设备及存储介质，上述方法包括:获取待处理图像集，提取待处理图像集中各个待处理图像的特征图，并基于二值交叉熵损失值获得特征图的初步类激活图。基于特征图和每个类别对应的初步类激活图，获得类别特征图。获取类别特征图的单标签多类别分类结果的损失值，基于二值交叉熵损失值与单标签多类别分类结果的损失值，获得特征图的类重新激活图，并基于类重新激活图，获得待处理图像中各个像素的伪标签。本公开示例性实施例的方法可以节省标注成本，提高图像分割性能，解决图像类别无法与特征信息对应区域实现关联关系，导致图像分割不够准确的问题。问题。问题。

【技术实现步骤摘要】
一种语义分割方法、装置、电子设备及存储介质


[0001]本公开涉及工业视觉测量
，尤其涉及一种语义分割方法、装置、电子设备及存储介质。

技术介绍

[0002]语义分割的目标是为图像中的每一个像素指定一个相应的语义类别，它是计算机视觉领域中的最重要的任务之一，在图像编辑、场景理解等任务中应用广泛。在工业视觉测量领域，对于复杂零件的多目标测量是一个热点应用领域，目前主要是采用深度学习方法辨识零件结构，再通过进行细节提取，获得适用于复杂结构与高精度测量的场景。
[0003]现有的语义分割网络往往只会关注物体中某个特征，而弱化对其他的特征提取。因此，对于特征信息分布较为稀松的图像区域，属于该类别的点可能被赋予较低的类别权重，在分割过程中被排除在外；而在多类别特征信息交叠的图像区域，会错误地将不同类别的点均赋予较高的权重，在分割过程中不同类别被错误地划分在一起。因此，图像类别无法与特征信息对应的区域实现关联关系，导致图像分割不够准确。

技术实现思路

[0004]本公开提供了一种语义分割方法、装置、电子设备及存储介质。
[0005]根据本公开的第一方面，提供了一种语义分割方法，所述方法包括：
[0006]获取待处理图像集；
[0007]提取所述待处理图像集中各个待处理图像的特征图，并基于二值交叉熵损失值获得所述特征图的初步类激活图；
[0008]基于所述特征图和每个类别对应的所述初步类激活图，获得类别特征图；
[0009]获取所述类别特征图的单标签多类别分类结果的损失值；
[0010]基于所述二值交叉熵损失值与所述单标签多类别分类结果的损失值，获得所述特征图的类重新激活图，并基于所述类重新激活图，获得所述待处理图像中各个像素的伪标签。
[0011]根据本公开的第二方面，提供了一种语义分割装置，其特征在于，所述装置包括：
[0012]数据获取模块，用于获取待处理图像；
[0013]数据处理模块，用于提取所述待处理图像集中各个待处理图像的特征图，并基于二值交叉熵损失值获得所述特征图的初步类激活图；基于所述特征图和每个类别对应的所述初步类激活图，获得类别特征图；获取所述类别特征图的单标签多类别分类结果的损失值；
[0014]所述数据处理模块，还用于基于所述二值交叉熵损失值与所述单标签多类别分类结果的损失值，获得所述特征图的类重新激活图，并基于所述类重新激活图，获得所述待处理图像中各个像素的伪标签。
[0015]根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理
器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0016]根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开的上述方法。
[0017]本公开实施例提供的语义分割方法、装置、电子设备及存储介质，通过获取待处理图像的特征图，并基于二值交叉熵损失值获得所述特征图的初步类激活图。通过类激活图与特征图融合获得与单一类别相关的特征图，增加构建基于单标签多类别分类的类重新激活图，获得新种子区域，其中，种子区域作为新的更准确的像素级伪标签，用于全监督训练。更准确的像素级伪标签可以降低语义分割模型训练过程中对人工标注标签的依赖性，从而节省人力和时间成本。同时，类重新激活图能准确反映图像中每个像素点与类别之间的映射关系，实现类别与像素点的一一对应，拓展深度网络关注区域，使得模型能更好地划分特征信息稀松区域的像素所对应的类别，从而提高图像分割的准确性。
附图说明
[0018]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0019]图1示出了根据本公开示例性实施例的可以在其中实施本文描述的各种方法的示例系统的示意图；
[0020]图2示出了本公开示例性实施例的语义分割方法流程示意图；
[0021]图3示出了本公开示例性实施例的特征图转化为类重新激活图的原理示意图；
[0022]图4示出了本公开示例性实施例的基于类重新激活图矫正后得到像素级伪标签的原理示意图；
[0023]图5示出了轴承图片使用本公开提供的语义分割方法生成的伪标签实验效果示意图；
[0024]图6示出了轴承图片使用本公开提供的语义分割方法生成的分割结果图；
[0025]图7为本公开一示例性实施例提供的语义分割装置的功能模块示意性框图；
[0026]图8示出了根据本公开示例性实施例的芯片的示意性框图；
[0027]图9为本公开一示例性实施例提供的电子设备的结构框图。
具体实施方式
[0028]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0029]应当理解，本公开的方法实施方其中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0030]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定
义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0031]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0032]本公开实施方其中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0033]在介绍本公开实施例之前首先对本公开实施例中涉及到的相关名词作如下释义：
[0034]弱监督学习，通过使用标签框级、标记点或线级、图像级等弱标签图像来自动提取图像的全监督标签或掩膜，然后通过全监督度训练获得高性能的语义分割模型。
[0035]PASCAL VOC 2012数据集，PASCAL VOC 2012数据集是计算机视觉研究中最常用的数据集之一，已经成为评估计算机视觉算法性能的标准数据集之一。
[0036]Deeplab V2，Deeplab V2是一种基于深度学习的语义分割算法，采用深度卷积神经网络来进行像素级别的语义分割，主要应用于计算机视觉领域中的图像分割任务。
[0037]Up本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割方法，其特征在于，所述方法包括：获取待处理图像集；提取所述待处理图像集中各个待处理图像的特征图，并基于二值交叉熵损失值获得所述特征图的初步类激活图；基于所述特征图和每个类别对应的所述初步类激活图，获得类别特征图；获取所述类别特征图的单标签多类别分类结果的损失值；基于所述二值交叉熵损失值与所述单标签多类别分类结果的损失值，获得所述特征图的类重新激活图，并基于所述类重新激活图，获得所述待处理图像中各个像素的伪标签。2.根据权利要求1所述的方法，其特征在于，所述提取所述待处理图像集中各个待处理图像的特征图，并基于二值交叉熵损失值获得所述特征图的初步类激活图，包括：基于所述特征图，获得多标签分类结果，所述多标签分类结果为：s＝σ(F1(P(f(x))))其中，σ表示sigmoid激活函数，P表示全局平均池化，f(x)表示特征图，F1表示第一全连接层；基于所述多标签分类结果，计算所述二值交叉熵损失值，所述二值交叉熵损失值为：其中，s[n]表示第n类的分类得分，N表示数据集中的前景总个数，l[n]∈{0，1}表示第n类的图像级标签，对应图像中存在第n类则为1，反之为0；基于所述二值交叉熵损失值，获得所述特征图的初步类激活图，所述初步类激活图：其中，表示全连接层F1中第n类的分类权重，Act表示非线性激活函数；其中，C
n
(x)表示初步类激活图。3.根据权利要求1所述的方法，其特征在于，所述基于所述特征图和每个类别对应的所述初步类激活图，获得类别特征图，包括：其中，表示元素级相乘，f
i
表示原特征图f(x)中第i个通道的子特征图，原特征图f(x)共有I个通道，[...]表示按通道拼接特征图，C
n
(x)表示初步类激活图，f
n
(x)表示第n类的类别特征图。4.根据权利要求1所述的方法，其特征在于，所述获取所述类别特征图的单标签多类别分类结果的损失值，包括：s
′
n
＝softmax(F2(P(f
n
(x))))其中，s
n
′
[n]表示s
′
n
中的第n个元素值，即第n类的分类得分，F2表示第二全连接层，P表示全局平均池化，f
n
(x)表示第n类的类别特征图；所述单标签多类别分类结果的损失值为：...

【专利技术属性】
技术研发人员：童辉，回彦弘，史慧楠，侯明，安浩俊，郭超，吴强，于爽，柳思源，张文博，汪邦军，夏姣辉，林勇，
申请(专利权)人：中国航空发动机研究院，
类型：发明
国别省市：