基于共同性-特异性监督机制的弱监督语义分割方法和装置制造方法及图纸

本发明专利技术公开了一种基于共同性

【技术实现步骤摘要】
基于共同性
‑
特异性监督机制的弱监督语义分割方法和装置


[0001]本专利技术属于图像级别的弱监督语义分割领域，具体涉及一种基于共同性
‑
特异性监督机制的弱监督语义分割方法和装置。

技术介绍

[0002]近年来，随着大规模深度学习网络的发展和大量的像素级别的语义标注，语义分割在各种各样的真实世界应用中取得了极大的成功，例如：自动驾驶，机器人和医疗诊断。可是，这些模型严重依赖大量像素级别的标注，这需要高强度的人力劳动。相反，一些弱监督标注，例如：图像级别的标签、点、涂鸦和边界框等是可轻易获得的。因此，探索一个弱监督标注在语义分割任务中的潜力是极其吸引人的工作。
[0003]解决图像级别的弱监督语义分割问题是极其有挑战性的，这是因为图像级别的标注只能表明在一幅图像中目标对象是否存在，但是缺乏必要的位置信息。为了解决这一问题，主流的方法主要利用类激活图去赋予卷积网络定位能力，例如基于因果干涉的方法C
‑
CAM(Zhang,Dong,et al."Causal intervention for weakly
‑
supervised semantic segmentation."Advances in Neural Information Processing Systems 33(2020):655
‑
666)、基于区域语义的方法RCA(Zhou,Tianfei,et al."Regional semantic contrast and aggregation for weakly supervised semantic segmentation."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022)。
[0004]但是上述类激活图方法只能识别图像中最具判别力的区域，这导致两个主要问题。一是错误的负样例，激活区域经常是稀疏的，激活错误的目标对象区域作为背景区域；二是错误的正样例，激活区域是溢出的，激活错误的背景区域作为目标对象。不完全的激活对应关系限制了类激活图方法的性能，造成了严重的定位区域稀疏和分割边界模糊。一些最近的工作正在尝试使用不同的网络框架或者不同的训练策略去解决不完全激活对应关系的问题。
[0005]因此，探索一种图像级别的弱监督语义分割方法，避免类激活图中不完全激活对应关系问题并提升弱监督标签对语义分割的定位能力和边界分割能力，成为一个亟待解决的技术问题。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种基于共同性
‑
特异性监督机制的弱监督语义分割方法和装置，通过克服类激活图中不完全激活关系对应的技术缺陷，来提升弱监督标签对语义分割的定位能力和准确性。
[0007]为实现上述专利技术目的，本专利技术提供了如下方案：
[0008]第一方面，实施例提供的一种基于共同性
‑
特异性监督机制的弱监督语义分割方法，包括以下步骤：
[0009]建立类别1数据集和类别2数据集，所述类别1数据集包含类别1图像及其图像级别
标签，所述类别2数据集包含类别2图像及其图像级别标签；
[0010]建立弱监督语义分割模型，所述弱监督语义分割模型包括嵌入层、对比卷积模块、共同性
‑
特异性监督模块、生成器、判别器以及知识落差模块，所述嵌入层用于将类别1图像和类别2图像进行空间映射得到嵌入式表征，对比卷积模块用于对嵌入式表征进行空间增强得到增强分布表征，共同性
‑
特异性监督模块用于采用共同性监督机制基于增强分布表征构建共同监督图，采用特异性监督基于共同性监督图构建特异性监督图，基于共同性监督图和特异性监督图构建特意类别目标对象区域，生成器用于基于目标对象区域生成对比生成图像，判别器用于判别对比生成图像的真伪，知识落差模块用于根据类别1图像与其对应的对比生成图像计算语义分割结果；
[0011]建立弱监督语义分割模型的目标函数，所述目标函数包含用于生成器和判别器训练的对抗损失和用于基于语义分割结果构建保持对比生成图像和类别1图像结构一致性的一致性损失；
[0012]采用类别1数据集和类别2数据集并利用目标函数优化弱监督语义分割模型的参数；
[0013]利用参数优化后的弱监督语义分割模型对待检测目标图像进行分割，得到目标图像像素级别的语义分割标注。
[0014]优选地，所述嵌入层包括依次连接的边界填充层、二维卷积层，实例正则化层以及线性整流激活层，通过所述嵌入层将类别1图像和类别2图像进行空间映射得到类别1图像的嵌入式表征Embedding1和类别2图像的嵌入式表征Embedding2。
[0015]优选地，所述对比卷积模块包括双通道模式，其中，第一通道包括依次连接的二维卷积层和线性整流激活层，用于根据类别1图像的嵌入式表征Embedding1提取对应的标准局部表示S_Embedding1和类别2图像的嵌入式表征Embedding2提取对应的标准局部表示S_Embedding2；
[0016]第二通道包括对比卷积，所述对比卷积包括扩展卷积层和二维卷积层，用于根据类别1图像的嵌入式表征Embedding1提取对应的差异表(D_Embedding1和类别2图像的嵌入式表征Embedding2提取对应的差异表征D_Embedding2；
[0017]所述对比卷积模块还包括类别激活图计算操作和增强表征计算操作，具体为：
[0018]利用的差异表征D_Embedding1和差异表征D_Embedding2分别计算用类别1图像对应的类别激活图M1
ca
和类别2图像对应的类别激活图M2
ca
；
[0019]将类别激活图M1
ca
与标准局部表示S_Embedding1点积得到类别1图像的增强分布表征E_Embedding1，将类别激活图M2
ca
与标准局部表示S_Embedding2点积得到类别2图像的增强分布表征E_Embedding2。
[0020]优选地，所述共同性
‑
特异性监督模块中，采用共同性监督机制基于增强分布表征构建共同监督图，包括：
[0021]将类别1图像的增强分布表征E_Embedding1投射到Reshape层进行尺寸调整得到类别1图像的重整分布E_Embedding1
re
；
[0022]将类别2图像的增强分布表征E_Embedding2投射到平均缓存器，将增强分布表征E_Embedding2顺序排列后计算平均值得到类别2图像的均值增强分布表征E_Embedding2
ave
；
[0023]将增强分布表征E_Embedding2
ave
投射到SE层以提取关键的结构特征；...

【技术保护点】

【技术特征摘要】
1.一种基于共同性
‑
特异性监督机制的弱监督语义分割方法，其特征在于，包括以下步骤：建立类别1数据集和类别2数据集，所述类别1数据集包含类别1图像及其图像级别标签，所述类别2数据集包含类别2图像及其图像级别标签；建立弱监督语义分割模型，所述弱监督语义分割模型包括嵌入层、对比卷积模块、共同性
‑
特异性监督模块、生成器、判别器以及知识落差模块，所述嵌入层用于将类别1图像和类别2图像进行空间映射得到嵌入式表征，对比卷积模块用于对嵌入式表征进行空间增强得到增强分布表征，共同性
‑
特异性监督模块用于采用共同性监督机制基于增强分布表征构建共同监督图，采用特异性监督基于共同性监督图构建特异性监督图，基于共同性监督图和特异性监督图构建特意类别目标对象区域，生成器用于基于目标对象区域生成对比生成图像，判别器用于判别对比生成图像的真伪，知识落差模块用于根据类别1图像与其对应的对比生成图像计算语义分割结果；建立弱监督语义分割模型的目标函数，所述目标函数包含用于生成器和判别器训练的对抗损失和用于基于语义分割结果构建保持对比生成图像和类别1图像结构一致性的一致性损失；采用类别1数据集和类别2数据集并利用目标函数优化弱监督语义分割模型的参数；利用参数优化后的弱监督语义分割模型对待检测目标图像进行分割，得到目标图像像素级别的语义分割标注。2.根据权利要求1所述的基于共同性
‑
特异性监督机制的弱监督语义分割方法，其特征在于，所述嵌入层包括依次连接的边界填充层、二维卷积层，实例正则化层以及线性整流激活层，通过所述嵌入层将类别1图像和类别2图像进行空间映射得到类别1图像的嵌入式表征Embedding1和类别2图像的嵌入式表征Embedding2。3.根据权利要求1所述的基于共同性
‑
特异性监督机制的弱监督语义分割方法，其特征在于，所述对比卷积模块包括双通道模式，其中，第一通道包括依次连接的二维卷积层和线性整流激活层，用于根据类别1图像的嵌入式表征Embedding1提取对应的标准局部表示S_Embedding1和类别2图像的嵌入式表征Embedding2提取对应的标准局部表示S_Embedding2；第二通道包括对比卷积，所述对比卷积包括扩展卷积层和二维卷积层，用于根据类别1图像的嵌入式表征Embedding1提取对应的差异表(D_Embedding1和类别2图像的嵌入式表征Embedding2提取对应的差异表征D_Embedding2；所述对比卷积模块还包括类别激活图计算操作和增强表征计算操作，具体为：利用的差异表征D_Embedding1和差异表征D_Embedding2分别计算用类别1图像对应的类别激活图M1
ca
和类别2图像对应的类别激活图M2
ca
；将类别激活图M1
ca
与标准局部表示S_Embedding1点积得到类别1图像的增强分布表征E_Embedding1，将类别激活图M2
ca
与标准局部表示S_Embedding2点积得到类别2图像的增强分布表征E_Embedding2。4.根据权利要求1所述的基于共同性
‑
特异性监督机制的弱监督语义分割方法，其特征在于，所述共同性
‑
特异性监督模块中，采用共同性监督机制基于增强分布表征构建共同监督图，包括：
将类别1图像的增强分布表征E_Embedding1投射到Reshape层进行尺寸调整得到类别1图像的重整分布E_Embedding1
re
；将类别2图像的增强分布表征E_Embedding2投射到平均缓存器，将增强分布表征E_Embedding2顺序排列后计算平均值得到类别2图像的均值增强分布表征E_Embedding2
ave
；将增强分布表征E_Embedding2
ave
投射到SE层以提取关键的结构特征；根据类别2图像的E_Embedding2
ave
与类别1图像的重整分布E_Embedding1
re
计算得到类别1图像和类别2图像的元素关联性矩阵R；基于元素关联性矩阵R和重整分布E_Embedding1
re
计算得到共同监督图M
c
。5.根据权利要求4所述的基于共同性
‑
特异性监督机制的弱监督语义分割方法，其特征在于，所述共同性
‑
特异性监督模块中，采用特异性监督基于共同性监督图构建特异性监督图，包括：将共同性监督图M
c
反向映射，得到共同性监督图M
...

【专利技术属性】
技术研发人员：尹建伟，苏鸽，赵天成，蒋杭进，
申请(专利权)人：浙江大学，
类型：发明
国别省市：