【技术实现步骤摘要】
基于类间相似性的弱监督语义分割方法
[0001]本专利技术属于弱监督语义分割领域，具体涉及一种基于类间相似性的弱监督语义分割方法。
技术介绍
[0002]弱监督语义分割任务是一个在计算机视觉领域中备受关注的研究方向，其目的旨在利用图像级的标签实现像素级的分割，因此被认为是降低语义分割所需标注成本的一个重要任务。近些年来，随着计算机运算能力的提升，深度卷积神经网络的发展使弱监督语义分割任务获得了诸多显著的成果。
[0003]现如今，性能优越的弱监督语义分割模型都是基于类激活谱进行实现的，其基于分类模型建立图像级到标签级的映射关系给弱监督语义分割任务注入了新的活力。较于传统的弱监督语义分割算法，基于类激活谱的弱监督语义分割算法在分割性能上有了突破性进步，在各种数据集上都表现出了强劲的性能和优势，但基于类激活谱的弱监督语义分割任务仍然面临着一些挑战，例如基于分类网络提取的类激活谱具有过激活和欠激活问题等。
[0004]比如，以分割场景中的猫和狗这两类为例，由于猫和狗的身体具有较强的相似性，导致猫和狗的判别性区域主要...
【技术保护点】
【技术特征摘要】
1.基于类间相似性的弱监督语义分割方法，其特征在于，包括下列步骤：步骤1，建立新标签：通过特征提取网络提取预置的第一图像数据集的每个类别的图像特征，基于提取的图像特征通过聚类方法对相似类进行合并得到新类，并重新生成第一图像数据集中每个样本图像在新类上的标签；步骤2，搭建对抗擦除模型：基于第一图像数据集的原始标签，搭建第一分类网络，所述第一分类网络包括特征提取网络和分类器，所述分类器包括至少一层全连接层；基于第一图像数据集对所述第一分类网络进行训练，得到训练好的第一分类网络；将第一图像数据集中的样本图像输入训练好的第一分类网络，基于其特征提取网络的输出得到样本特征图，并将训练好的第一分类网络的分类器的最后一层全连接层的权重作为样本特征图的通道权重，对各样本特征图的按通道进行加权求和生成第一类激活谱；将所述第一类激活谱阈值进行比较，若大于或等于，则确定为判别性区域，并从当前样本图像中擦除判别性区域得到新样本图像，基于新样本图像和新标签得到第二图像数据集；基于第二图像数据集搭建第二分类网络，所述第二分类网络与第一分类网络的网络结构相同；并基于第二图像数据集对所述第二分类网络进行训练，基于训练好的第二分类网络得到对抗擦除模型；步骤3，类激活谱融合：将新样本图像输入对抗擦除模型，基于其特征提取网络的输出得到第二样本特征图，并将对抗擦除模型的分类器的最后一层全连接层的权重作为第二样本特征图的通道权重，对各第二样本特征图的按通道进行加权求和生成第二类激活谱；对第一和第二类激活谱进行合并处理，生成最终的类激活谱；步骤4，生成伪标注：若最终的类激活谱大于或等于前景阈值，则将最终的类激活谱对应的像素划分为前景；若最终的类激活谱小于背景阈值，则将最终的类激活谱对应的像素划分为背景；剩余像素则填充为白色；步骤5，训练语义分割模型：将生成的伪标注作为监督信息，并基于第一图像数据集对采用的语义分割模型进行训练，当满足预置的训练结束条件时，得到训练好的语义分割模型。2.如权利要求1所述的方法，其特征在于，所述步骤1中，基于提取的图像特征通过聚类方法对相似类进行合并具体为：基于单个样本图像的图像特征F
i
，对其按类别划分，取特征均值得到每个类别的特征：其中，C
j
表示第j个类别的特征，y
i,j
表示样本图像i的第j个类别的标签值，若样本图像i包含第j类物体，则y
i,j
为1，否则y
i,j
为0；基于每个类别的特征进行聚类处理，将每个聚类结果作为一种新类，并设置对应的新标签。3.如权利要求1所述的方法，其特征在于，进一步的，所述分类器包括一层设置有
softmax函数全连接层。4.如权利要求1所述的方法，其特征在于，第一、第二类激活谱的具体计算方式为：其中，O
i,j
表示样本图像i第j类的第一或第二类激活谱，R()表示正则化，表示第一或第二分类器的最后一层全连接的权重，表示样本图像的样本特征图，下标m表示通道标识...
【专利技术属性】
技术研发人员：许林峰，王姮冰，孟凡满，吴庆波，潘力立，李宏亮，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。