【技术实现步骤摘要】
本专利技术涉及图像处理，尤其是涉及一种基于统计学改进的弱监督语义分割方法、装置及介质。
技术介绍
1、弱监督语义分割弥补了全监督语义分割中数据集标注工作量大的缺陷，主要采用类激活图(cam)的方法以产生伪掩膜，然后将伪掩膜作为标签以全监督方式进行分割模型训练，有效解决了全监督语义分割对数据集像素级标注的依赖性。
2、目前的方法多数采用多阶段分割的方法，在执行分割任务时需要分阶段训练不同的模型，比较耗时耗力，并且，采用传统的卷积神经网络进行图像分割会带来的全局特征信息丢失的问题。
技术实现思路
1、本专利技术的目的是为了提供一种基于统计学改进的弱监督语义分割方法、装置及介质，构建了一种单阶段的端到端的模型，能够大大减少训练模型的复杂性，采用swin-transformer作为骨干网络，有效获取图像的全局信息，提高分割精度，同时，还提出了一种基于统计学原理的语义亲和信息提取模块，通过更好的提取图片的语义亲和信息来帮助提高分割精度。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于统计学改进的弱监督语义分割方法，将待分割图像输入基于统计学改进的语义分割网络中，生成分割结果图，其中，
4、所述语义分割网络包括：
5、特征编码模块：用于将输入的待分割图像处理为具有空间权重参数的特征图，包括swin-transformer主干网络、类激活图cam生成子模块、伪掩膜生成子模块；
6、语义亲和信息模块：用于基于统
7、特征解码模块：将经过特征编码模块的swin-transformer主干网络处理后的特征图送入相应的解码器经过上采样得到最终的分割结果；
8、所述语义分割网络的损失函数基于特征解码模块输出的分割结果、伪掩膜生成子模块生成的伪掩膜与语义亲和信息模块生成的语义亲和信息构建。
9、所述特征编码模块利用swin-transformer主干网络进行特征编码，将输出的特征图输入类激活图cam生成子模块生成类激活图cam，并利用伪掩膜生成子模块对类激活图cam进行后处理操作生成伪掩膜。
10、所述swin-transformer主干网络包括四个阶段，每个阶段均对图像进行下采样，其中，第一阶段包括一个线性层和一个块，后三个阶段各包含一个patch合并模块和一个块，每个块都包括多头自注意力模块和线性层；将待分割图像依次输入四个阶段得到四个不同维度和大小的特征图，完成swin-transformer的特征编码工作。
11、所述类激活图cam生成子模块对swin-transformer主干网络第四阶段输出的最后一层特征图与对应权重进行加权求和计算，生成类激活图cam。
12、所述伪掩膜生成子模块对生成的类激活图进行包括par在内的后处理，按阈值进行背景和目标类像素的划分得到伪掩膜。
13、所述语义亲和信息模块通过提取swin-transformer主干网络中第四阶段的多头自注意力信息形成注意力矩阵列表，并对注意力矩阵依次进行concatenate、卷积和线性映射生成初步语义亲和信息，其次，根据统计学原理，从注意力矩阵列表中提取最大值、平均值和最小值的注意力信息再依次进行concatenate、卷积和线性映射得到状态语义亲和信息，将状态语义亲和信息与初步语义亲和信息进行矩阵相加，得到最终的语义亲和信息。
14、所述特征解码模块将swin-transformer主干网络得到的不同维度及大小的特征图使用mlp进行维度变换，并且通过双线性插值的方式逐步进行上采样并与对应大小的特征图融合，直至输出原始图像大小的分割结果图。
15、所述语义分割网络的损失函数为：
16、loss＝lossseg+lossaff
17、lossseg＝cross_entropy(pred_output，pesudo_label)
18、lossaff＝cross_entropy(affinity_map，pesudo_label)
19、其中，cross_entropy表示交叉熵损失，pred_output表示特征解码模块输出的分割结果，pesudo_label表示伪掩膜，affinity_map表示语义亲和信息。
20、一种基于统计学改进的端到端弱监督语义分割装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。
21、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
22、与现有技术相比，本专利技术具有以下有益效果：
23、(1)本专利技术通过将采用编码-解码的网络结构，将图像输入编码器进行特征提取及其他处理后，配以相应的解码网络进行上采样直接得到分割结果，即采用单阶段的端到端网络模型，大大减少了多阶段语义分割执行的复杂性。
24、(2)本专利技术使用transformer为骨干的主干网络，改善了卷积神经网络丢失全局特征信息的缺陷，同时，利用统计学原理改进了网络的语义亲和信息提取模块，提升了分割结果的精度。
本文档来自技高网...【技术保护点】
1.一种基于统计学改进的弱监督语义分割方法，其特征在于，将待分割图像输入基于统计学改进的语义分割网络中，生成分割结果图，其中，
2.根据权利要求1所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述特征编码模块利用Swin-Transformer主干网络进行特征编码，将输出的特征图输入类激活图CAM生成子模块生成类激活图CAM，并利用伪掩膜生成子模块对类激活图CAM进行后处理操作生成伪掩膜。
3.根据权利要求1所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述Swin-Transformer主干网络包括四个阶段，每个阶段均对图像进行下采样，其中，第一阶段包括一个线性层和一个块，后三个阶段各包含一个Patch合并模块和一个块，每个块都包括多头自注意力模块和线性层；将待分割图像依次输入四个阶段得到四个不同维度和大小的特征图，完成Swin-Transformer的特征编码工作。
4.根据权利要求3所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述类激活图CAM生成子模块对Swin-Transformer主干网络第四阶
5.根据权利要求2所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述伪掩膜生成子模块对生成的类激活图进行包括PAR在内的后处理，按阈值进行背景和目标类像素的划分得到伪掩膜。
6.根据权利要求3所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述语义亲和信息模块通过提取Swin-Transformer主干网络中第四阶段的多头自注意力信息形成注意力矩阵列表，并对注意力矩阵依次进行Concatenate、卷积和线性映射生成初步语义亲和信息，其次，根据统计学原理，从注意力矩阵列表中提取最大值、平均值和最小值的注意力信息再依次进行Concatenate、卷积和线性映射得到状态语义亲和信息，将状态语义亲和信息与初步语义亲和信息进行矩阵相加，得到最终的语义亲和信息。
7.根据权利要求3所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述特征解码模块将Swin-Transformer主干网络得到的不同维度及大小的特征图使用MLP进行维度变换，并且通过双线性插值的方式逐步进行上采样并与对应大小的特征图融合，直至输出原始图像大小的分割结果图。
8.根据权利要求1所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述语义分割网络的损失函数为：
9.一种基于统计学改进的端到端弱监督语义分割装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。
...【技术特征摘要】
1.一种基于统计学改进的弱监督语义分割方法，其特征在于，将待分割图像输入基于统计学改进的语义分割网络中，生成分割结果图，其中，
2.根据权利要求1所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述特征编码模块利用swin-transformer主干网络进行特征编码，将输出的特征图输入类激活图cam生成子模块生成类激活图cam，并利用伪掩膜生成子模块对类激活图cam进行后处理操作生成伪掩膜。
3.根据权利要求1所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述swin-transformer主干网络包括四个阶段，每个阶段均对图像进行下采样，其中，第一阶段包括一个线性层和一个块，后三个阶段各包含一个patch合并模块和一个块，每个块都包括多头自注意力模块和线性层；将待分割图像依次输入四个阶段得到四个不同维度和大小的特征图，完成swin-transformer的特征编码工作。
4.根据权利要求3所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述类激活图cam生成子模块对swin-transformer主干网络第四阶段输出的最后一层特征图与对应权重进行加权求和计算，生成类激活图cam。
5.根据权利要求2所述的一种基于统计学改进的弱监督语义分割方法，其特征在于，所述伪掩膜生成子模块对生成的类激活图进行包括par在内的后处理，按阈值进行背景和目标类像素的划...
【专利技术属性】
技术研发人员：贾泽华，王霜，陈树康，方宇凡，张云飞，郭东生，薛珊，刘若楠，陈挚，沈春华，何鹭飞，乐心怡，刘腾飞，陈浩，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。