【技术实现步骤摘要】
本专利技术属于图像级弱监督语义分割领域，具体指通过构建一种高效的精准正负样本对匹配方法引入对比学习以实现一种高精度的图像级弱监督语义分割系统。
技术介绍
1、语义分割一直是计算机视觉领域的一项基本任务，广泛应用于自动驾驶、机器人、医学图像分析等重要场景。语义分割的目的是对图像中的每一个像素点进行分类，是一种密集分类任务。受益于卷积神经网络(cnns，convolutional neural networks)的蓬勃发展，传统的全监督语义分割已经取得了非凡的成就，但其受限于像素级标注信息的缺乏和高昂成本。弱监督语义分割致力于研究如何使用弱监督信号(图像级、涂鸦级、包围框级)解决上述密集预测的语义分割任务，打破全监督语义分割所面临的的障碍。其中图像级标签获取成本最低，因此获得了广泛的关注。
2、现有的图像级弱监督语义分割方法大多利用类激活图(cams，class activationmaps)将图像级类别标签映射到像素级目标区域位置，减少稀疏类别监督信号与密集像素标注信息的监督差距。其主要流程是训练一个分类器，将分类头的参数视为特征图各通道的权重信息，用于对骨干网输出的特征图进行加权，得到前景目标的类激活图，并用由类激活图生成的像素级伪标签训练一个全监督语义分割网络得到最终的语义分割结果。因此，上述主流方法的关键在于如何获得准确的类激活图，但由于分类任务通常只关注目标物体最具辨别性的区域部分，通常会导致激活区域不完全的问题。
3、为了缓解激活区域不完全的问题，学者们提出了许多策略，例如使用区域增长方法扩张初始
4、对比学习旨在通过多个样本对比来学习特征表达，鼓励相似样本对的特征表达在嵌入空间中更加接近，同时将不相似样本对的特征表达分开。该特性可以很好地建模像素语义关系，因此也被应用于图像级弱监督语义分割任务。但是，在之前所提出的将对比学习应用于图像级弱监督语义分割的方法中，其正负样本对匹配方法是通过数据增强手段使得原图像和增强图像内的同一位置像素点构成一对正对，其余的全为负对，这种不精确的正负样本对匹配方法可能会导致原本属于同一类别的像素构成一对负对，造成类别概念的混淆，不利于图像特征表达的学习和像素语义关系的正确建模，存在一定的局限性。
5、因此，在当前图像级弱监督语义分割领域中，对比学习的应用存在一个亟待解决的问题，即如何构建一种高效的精准正负样本对匹配方法。该方法的目的是充分发挥对比学习的高效建模能力，以提升生成类激活图的质量，并获得更加准确的像素级伪标签，这对于提升图像级弱监督语义分割的性能至关重要。
技术实现思路
1、鉴于上述现有技术的缺陷与不足，本专利技术提出一种基于精准正负样本对匹配与对比的图像级弱监督语义分割系统及方法，通过构建一种高效的精准正负样本对匹配方法以解决对比学习应用于图像级弱监督语义分割领域所出现的类别混淆问题，充分发挥对比学习提升类内紧凑性和类间离散性的性质以正确建模像素间的语义关系，提升图像级弱监督语义分割的准确性。
2、为达成上述目标，本专利技术是通过以下技术方案实现的，
3、第一方面，本专利技术提供一种图像级弱监督语义分割系统，该系统包括特征提取模块、类激活图生成部分、标签分配模块、注意力优化模块；
4、特征提取模块对输入图像进行特征提取，得到输入图像对应的特征图f；
5、类激活图生成部分使用分类头的参数对输入图像的特征图f进行激活，得到对应目标类别c的类激活图camc，并堆叠所有前景类别的camc得到cams，以获得目标的位置信息；与上述生成cams的步骤相似，再使用类激活图生成部分对新特征图f'进行激活，得到新类激活图cams'；
6、标签分配模块通过挖掘每个像素关于整幅图像的注意力图中所包含的结构信息为每个像素分配类别标签，根据分配的标签以实现精准的正负样本对匹配与对比，缓解传统对比学习方法中由于不精确正负样本对定义所造成的干扰，并正确建模像素间的语义关系；
7、注意力优化模块使用自适应筛选得到的高置信度样本点与输入图像计算注意力图并用其完成原特征图f的优化重建，得到新特征图f'，充分利用输入图像内的丰富上下文信息并排除不可靠像素的干扰。
8、所提供的图像级弱监督语义分割系统在训练时受到分类损失、对比损失和一致性正则化这三种监督信息的约束；三者相互协同，为模型的优异性能奠定基础。分类损失帮助从图像级类别标签中学习基本的特征表达，对比损失帮助更好地建模像素间语义关系，一致性正则化有助于语义分割过程中的正向循环。
9、进一步地，所述特征提取模块采用标准的分类骨干网结构，将输入的低维图像转化为一组高维语义特征图，然后采用双线性插值的方法对特征图f进行上采样，使其保持与输入图像相同的分辨率。
10、进一步地，所述类激活图生成部分使用分类头关于类别c的权重参数对特征图进行加权，获得输入图像关于类别c的camc，其反应了输入图像中每个位置属于类别c的概率，初步定位前景目标。
11、进一步地，所述标签分配模块对于输入图像中任意一个像素点i，首先在特征空间中计算其与输入图像所有像素点的相似性，得到像素点i关于整幅图像的注意力图，该注意力图体现了像素点i与整幅图像所有像素点之间的亲和性关系，同时也隐式地蕴含了像素点i所属类别的形状信息；通过在该注意力图和图像所对应的类激活图之间引入iou评估的方法，利用该形状信息获得像素点i属于不同前景类别的概率，同时计算像素点i属于背景的概率，将概率值最大的标签类别分配给像素点i，并依次为整幅图像所有像素完成标签分配。
12、进一步地，所述注意力优化模块构建一个记忆存储库用于储存所有像素点的类别信息和特征表达以利用图像内丰富的上下文信息，并针对每个给定类别包括背景自适应筛选得到置信度前50％的样本像素点，用其特征表达构成一个二维矩阵，然后将该二维矩阵与原特征图f变换得到的二维矩阵进行相乘，经过归一化后得到输入图像所有像素点与筛选出的所有样本点的亲和性关系，以此为权重信息使用筛选出的样本点对原特征图f进行重建优化，得到一组蕴含更丰富语义信息的新特征图f'供后续使用。
13、第二方面，一种图像级弱监督语义分割方法，所述方法包括：
14、s1、对输入图像进行特征提取，并使用双线性插值法将其上采样到与输入图像相同的分辨率，得到其对应的特征图
15、s2、依次使用分类头对应类别c的权重参数对特征图f进行激活得到关于目标类别c的类激活图c本文档来自技高网...
【技术保护点】
1.一种图像级弱监督语义分割系统，其特征在于，该系统包括特征提取模块、类激活图生成部分、标签分配模块、注意力优化模块；
2.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述特征提取模块采用标准的分类骨干网结构，将输入的低维图像转化为一组高维语义特征图，然后采用双线性插值的方法对特征图F进行上采样，使其保持与输入图像相同的分辨率。
3.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述类激活图生成部分使用分类头关于类别c的权重参数对特征图进行加权，获得输入图像关于类别c的CAMc，其反应了输入图像中每个位置属于类别c的概率，初步定位前景目标。
4.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述标签分配模块对于输入图像中任意一个像素点i，首先在特征空间中计算其与输入图像所有像素点的相似性，得到像素点i关于整幅图像的注意力图，该注意力图体现了像素点i与整幅图像所有像素点之间的亲和性关系，同时也隐式地蕴含了像素点i所属类别的形状信息；通过在该注意力图和图像所对应的类激活图之间引入IOU评估的方法，利用该形状信息
5.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述注意力优化模块构建一个记忆存储库用于储存所有像素点的类别信息和特征表达以利用图像内丰富的上下文信息，并针对每个给定类别包括背景自适应筛选得到置信度前50％的样本像素点，用其特征表达构成一个二维矩阵，然后将该二维矩阵与原特征图F变换得到的二维矩阵进行相乘，经过归一化后得到输入图像所有像素点与筛选出的所有样本点的亲和性关系，以此为权重信息使用筛选出的样本点对原特征图F进行重建优化，得到一组蕴含更丰富语义信息的新特征图F'供后续使用。
6.利用权利要求1-5任一项所述的系统进行图像级弱监督语义分割的方法，其特征在于，所述方法包括：
7.根据权利要求6所述的图像级弱监督语义分割方法，其特征在于，步骤S3中标签分配计算过程如下：
8.根据权利要求6所述的图像级弱监督语义分割方法，其特征在于，步骤S4中，使用注意力优化模块对原特征图F进行特征优化重建，获得一组新特征图F'，具体方法如下：
9.根据权利要求6所述的图像级弱监督语义分割方法，其特征在于，使用分类头计算特征图F所属的类别并进行分类损失计算；使用分类头计算新特征图F'所属的类别并进行分类损失计算；使用对比损失Lcontrast帮助更好地建模像素语义关系；在原特征图F和新特征图F'，原类激活图CAMs和新类激活图CAMs'之间引入一致性正则化约束Lreg；计算公式如下：
...【技术特征摘要】
1.一种图像级弱监督语义分割系统，其特征在于，该系统包括特征提取模块、类激活图生成部分、标签分配模块、注意力优化模块；
2.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述特征提取模块采用标准的分类骨干网结构，将输入的低维图像转化为一组高维语义特征图，然后采用双线性插值的方法对特征图f进行上采样，使其保持与输入图像相同的分辨率。
3.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述类激活图生成部分使用分类头关于类别c的权重参数对特征图进行加权，获得输入图像关于类别c的camc，其反应了输入图像中每个位置属于类别c的概率，初步定位前景目标。
4.根据权利要求1所述的图像级弱监督语义分割系统，其特征在于，所述标签分配模块对于输入图像中任意一个像素点i，首先在特征空间中计算其与输入图像所有像素点的相似性，得到像素点i关于整幅图像的注意力图，该注意力图体现了像素点i与整幅图像所有像素点之间的亲和性关系，同时也隐式地蕴含了像素点i所属类别的形状信息；通过在该注意力图和图像所对应的类激活图之间引入iou评估的方法，利用该形状信息获得像素点i属于不同前景类别的概率，同时计算像素点i属于背景的概率，将概率值最大的标签类别分配给像素点i，并依次为整幅图像所有像素完成标签分配。
5.根据权利要求1所述的图像级弱监督语义分割系统...
【专利技术属性】
技术研发人员：周全，项伟康，姜政，胡张颖，吴晓富，樊亚文，康彬，张索非，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。