一种基于显著性引导的弱监督语义分割方法技术

本发明专利技术公开了一种基于显著性引导的弱监督语义分割方法，包括给定带有图像级弱标签的图像，通过训练一个分类网络，此时利用从注意力图导出的类别激活图定位目标对象区域，生成初始伪标签。本发明专利技术通过设计了一个类别无关距离损失，扩大类别激活图中激活的目标对象区域，同时设计了一个类别特定距离损失，使目标对象区域比背景区域具有更高的激活度，由此拉近类内特征和分离类间特征，使显著图在分类网络的训练过程中，可以扩展类别激活图中激活的目标对象区域，提取紧凑完整的目标对象区域；进一步的，通过构建一个对象引导的标签精炼子方法，充分利用分割预测对初始伪标签再训练，为弱监督语义分割网络训练提供了一个更高质量的进阶伪标签。量的进阶伪标签。量的进阶伪标签。

【技术实现步骤摘要】
一种基于显著性引导的弱监督语义分割方法


[0001]本专利技术涉及弱监语义分割
，具体涉及一种基于显著性引导的弱监督语义分割方法。

技术介绍

[0002]目前基于图像级标注的弱监督语义分割任务的挑战在于，虽然图像级别标签可以指示特定类别对象的存在，但它们不提供有关其位置或边界的任何线索，故很难直接使用图像级标注来训练分割网络。
[0003]现有的工作通常是利用图像级标注训练一个分类网络，然后借助类别激活图 (CAMs)生成伪标签来指导语义分割模型的训练，然而，类别激活图只能定位物体最具辨别力的部分，针对小而稀疏的激活区域，难以获得高质量的像素级标签；故扩大类别激活图中的激活区域以覆盖整个目前对象区域，是弱监督语义分割的主要研究方向，但是当扩展最具辨别力的部分以覆盖更多的对象区域时，对象周围的背景区域也不可避免地会被激活；鉴于此，在弱监督语义分割任务中，已广泛采用显著图，为伪标签的生成提供背景线索，但是，显著图不能帮助分离显著区域内不同类别的对象，也不能识别显著区域外对象的边界。
[0004]因此，如何进一步挖掘显著图的潜力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于显著性引导的弱监督语义分割方法，其特征在于：包括以下步骤：步骤（A）、给定带有图像级弱标签的图像，训练一个分类网络，通过构建一个用以显示最小化类内特征方差的类别无关距离损失，对类内关系进行约束，扩大类别激活图中的目标对象区域；步骤（B）、构建一个类别特定距离损失，以最大化不同类间的特征差异，用以将目标对象区域和背景区域特征区分开，此时利用从注意力图导出的类别激活图定位目标对象区域，生成初始伪标签；步骤（C）、构建一个对象引导的标签精炼子方法，充分利用分割预测对初始伪标签再训练，进而通过分割模型生成进阶伪标签，用于弱监督语义分割网络训练。2.根据权利要求1所述的一种基于显著性引导的弱监督语义分割方法，其特征在于：步骤（A）、给定带有图像级弱标签的图像，训练一个分类网络，通过构建一个用以显示最小化类内特征方差的类别无关距离损失，对类内关系进行约束，扩大类别激活图中的目标对象区域，包括以下步骤：（A1）、对于只包含一类对象的简单图像，其类别无关的显著图可近似为其相应的目标对象掩码，故借助类别无关的显著图掩码，对特征应用掩码平均池化操作，提取类别原型向量，具体的，当注意力图F 上采样到与掩码M相同的大小后，按下式计算目标对象区域原型向量：其中，h是显著图的高度，w是显著图的宽度；（A2）、目标对象区域原型向量被采样到与注意力图相同的空间大小后，进行逐元素相减，以获得原型特征距离D，使用掩码平均池化操作为显著对象区域定义一个类别无关距离损失，并按下式计算类别无关距离损失：其中，h
′ꢀ
是注意力图的高度，w
′
是注意力图的宽度，c是注意力图的通道数；（A3）、将类别无关距离损失与反向...

【专利技术属性】
技术研发人员：陈涛，黄丹，孙泽人，姚亚洲，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：