通过抑制非感兴趣信息的语义分割方法、设备及存储设备技术

本发明专利技术提出了一种通过抑制非感兴趣信息的语义分割方法、设备及存储设备，本发明专利技术基于深度学习库优化神经网络，提高语义分割结果的精度，主要包括以下步骤：1)构建基础Unet模型；2)添加注意力机制；3)门特征图与当前层结果相乘；4)添加新输出结果和多损失函数；5)对待进行语义分割的图像进行图像语义分割。本方法可以提高语义分割神经网络的精度并有效抑制非感兴趣信息。

Semantic segmentation methods, devices and storage devices by suppressing non interested information

【技术实现步骤摘要】
通过抑制非感兴趣信息的语义分割方法、设备及存储设备
本专利技术涉及语义分割领域，更具体地说，涉及一种通过抑制非感兴趣信息的语义分割方法、设备及存储设备。
技术介绍
采用神经网络对图像进行语义分割过程中，需要先搭建神经网络。在神经网络的搭建过程中，简单的神经网络层数的堆叠不能实现对非感兴趣信息的抑制；要想取得更好的泛化效果就需要扩大模型的感受野，但是需要很多的计算资源，不利于模型的在移动设备上的部署。本专利技术是基于上述问题提出的解决方法。
技术实现思路
本专利技术的目的在于针对现有技术中的缺陷，提出一种抑制非感兴趣信息的高精度语义分割方法，基于深度学习库优化神经网络，提高语义分割结果的精度。本专利技术解决其技术问题，所采用的种通过抑制非感兴趣信息的语义分割方法包含如下步骤：步骤1)、利用深度学习库优化神经网络，构建一个基础的图像语义分割模型Unet，包括编码和解码两个阶段；编码阶段串行进行多次下采样，每次下采样通过多层空间维度逐渐增加和特征图大小都不变的卷积层和一层池化层实现；解码阶段串行进行多次上采样，每次上采样通过多层空间维度逐渐减小和特征图大小不变的卷积层和一层上采样层实现；步骤2)、在每一次下采样过程中添加注意力机制，基于深度学习库优化神经网络将编码阶段的当前层f(n)做维度和特征图大小缩小一倍的1×1卷积处理；对当前层f(n)的下一层f(n+1)做维度与f(n)相同和特征图大小不变的卷积处理；将f(n)和f(n+1)的卷积处理结果进行加权融合；对加权融合后的特征图进行上采样与全局平均池化处理后，利用激活函数激活得到用于管控f(n)的门特征图G；步骤3)、将门特征图G和当前层f(n)相乘，得到解码阶段的补偿信息；步骤4)、基于深度学习库优化神经网络在最后输出处添加一层维度和特征图大小都不变的1×1卷积层，用于输出新结果，从而形成最终的图像语义分割模型；其中，图形语义分割模型通过loss1对原输出层结果进行约束，通过loss2对在原输出层结果上生成的新结果进行约束，从而实现优化和信息补偿；其中，loss1、loss2的计算公式如下：loss1＝α×BCE+β×PBL(2)loss2＝α×BCE+β×PBL(3)α+β＝1(4)式中，l表示像素值，SK表述像素的标签集合，S表示像素的预测集合，i和j表示像素的索引坐标，pij表示输出结果的概率，I()表示满足括号内条件时，值等于1，否则等于0，N表示类别数，BCE表示交叉熵，loss1表示原输出层的损失函数，loss2为新输出层损失函数，α表示对分割输出结果轮廓的约束，分割区域环境越复杂，值越大，α>0；β表示对分割总体质量的约束，分割区域越离散，值越大,β>0；步骤5)、获取带语义分割标签的图像，多张所述图像形成训练集，对最终的图像语义分割模型进行训练，得到训练好的模型，用来对待进行语义分割的图像进行图像语义分割。进一步地，在本专利技术的通过抑制非感兴趣信息的语义分割方法中，步骤1)中，编码阶段串行进行4次下采样，每次下采样通过2层空间维度逐渐增加和特征图大小都不变的3×3卷积层和一层池化层实现，卷积层采用tensorflow中的conv函数，池化层采用tensorflow中的Averagepooling函数。进一步地，在本专利技术的通过抑制非感兴趣信息的语义分割方法中，步骤1)中，解码阶段串行进行4上采样，每次上采样通过2层空间维度逐渐减小和特征图大小不变的3×3卷积层和一层上采样层实现，卷积层采用tensorflow中的conv函数,上采样层采用的是tensorflow中的Upsample函数。进一步地，在本专利技术的通过抑制非感兴趣信息的语义分割方法中，步骤2)中：所述做维度与f(n)相同和特征图大小不变的卷积处理是指3×3卷积处理，所述1×1卷积处理和所述3×3卷积处理均采用tensorflow中的conv函数实现，所述加权融合是指采用tensorflow中的add函数进行加权融合；所述对加权融合后的特征图进行上采样与全局平均池化处理后，利用激活函数激活得到用于管控f(n)的门特征图G中，上采样使用的是tensorflow中的Upsample函数，全局平均池化采用的是GlobalAveragePool函数，激活函数是采用tensorflow中的sigmoid激活函数。进一步地，在本专利技术的通过抑制非感兴趣信息的语义分割方法中，步骤3)中，相乘是采用的tensorflow中的函数multiply实现。进一步地，在本专利技术的通过抑制非感兴趣信息的语义分割方法中，步骤4)中，1×1卷积层采用的是tensorflow中的conv函数实现，激活函数为sigmoid。本专利技术还提供了一种存储设备，包括：所述存储设备存储指令及数据用于实现权上述的任意一种通过抑制非感兴趣信息的语义分割方法。本专利技术还提供了一种通过抑制非感兴趣信息的语义分割设备，包括：处理器及所述存储设备；所述处理器加载并执行上述存储设备中的指令及数据用于实现上述的任意一种通过抑制非感兴趣信息的语义分割方法。本专利技术已经过严格的测试和验证，通过本方法，可以提高语义分割神经网络的精度并有效抑制非感兴趣信息：附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是通过抑制非感兴趣信息的语义分割方法的流程图；图2是通过抑制非感兴趣信息的语义分割设备的原理图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。参考图1，图1是通过抑制非感兴趣信息的语义分割方法的流程图。本专利技术的通过抑制非感兴趣信息的语义分割方法包含如下步骤：步骤1)、基于深度学习库优化神经网络，利用tensorflow，搭建基础的图像语义分割模型Unet，包括编码和解码两个阶段：编码阶段串行进行4次下采样，每次下采样通过2层空间维度逐渐增加和特征图大小都不变的3×3卷积层和一层池化层，卷积层采用tensorflow中的conv函数，池化层采用tensorflow中的Averagepooling函数；解码阶段串行进行4次上采样，每次上采样通过2层空间维度逐渐减小和特征图大小不变的3×3卷积层和一层上采样层，卷积层采用tensorflow中的conv函数,上采样采用的是tensorflow中的Upsample函数。步骤2)、在每一处下采样阶段添加注意力机制，基于tensorflow库将编码阶段的当前层f(n)做维度和特征图大小缩小一倍的1×1卷积处理，采用tensorflow中的conv函数；对当前层f(n)的下一层f(n+1)做维度与f(n)相同和特征图大小不变的3×3卷积处理，采用tensorflow中的conv函数；将f(n)和f(n+1)的卷积处理结果利用tensorflow中的add函数进行加权融合；对融合后的特征图进行上采样与全局平均池化处理后利用tensorf本文档来自技高网...

【技术保护点】
1.一种通过抑制非感兴趣信息的语义分割方法，其特征在于，包含如下步骤：/n步骤1)、利用深度学习库优化神经网络，构建一个基础的图像语义分割模型Unet，包括编码和解码两个阶段；编码阶段串行进行多次下采样，每次下采样通过多层空间维度逐渐增加和特征图大小都不变的卷积层和一层池化层实现；解码阶段串行进行多次上采样，每次上采样通过多层空间维度逐渐减小和特征图大小不变的卷积层和一层上采样层实现；/n步骤2)、在每一次下采样过程中添加注意力机制，基于深度学习库优化神经网络将编码阶段的当前层f(n)做维度和特征图大小缩小一倍的1×1卷积处理；对当前层f(n)的下一层f(n+1)做维度与f(n)相同和特征图大小不变的卷积处理；将f(n)和f(n+1)的卷积处理结果进行加权融合；对加权融合后的特征图进行上采样与全局平均池化处理后，利用激活函数激活得到用于管控f(n)的门特征图G；/n步骤3)、将门特征图G和当前层f(n)相乘，得到解码阶段的补偿信息；/n步骤4)、基于深度学习库优化神经网络在最后输出处添加一层维度和特征图大小都不变的1×1卷积层，用于输出新结果，从而形成最终的图像语义分割模型；其中，图形语义分割模型通过loss1对原输出层结果进行约束，通过loss2对在原输出层结果上生成的新结果进行约束，从而实现优化和信息补偿；其中，loss1、loss2的计算公式如下：/n...

【技术特征摘要】
1.一种通过抑制非感兴趣信息的语义分割方法，其特征在于，包含如下步骤：
步骤1)、利用深度学习库优化神经网络，构建一个基础的图像语义分割模型Unet，包括编码和解码两个阶段；编码阶段串行进行多次下采样，每次下采样通过多层空间维度逐渐增加和特征图大小都不变的卷积层和一层池化层实现；解码阶段串行进行多次上采样，每次上采样通过多层空间维度逐渐减小和特征图大小不变的卷积层和一层上采样层实现；
步骤2)、在每一次下采样过程中添加注意力机制，基于深度学习库优化神经网络将编码阶段的当前层f(n)做维度和特征图大小缩小一倍的1×1卷积处理；对当前层f(n)的下一层f(n+1)做维度与f(n)相同和特征图大小不变的卷积处理；将f(n)和f(n+1)的卷积处理结果进行加权融合；对加权融合后的特征图进行上采样与全局平均池化处理后，利用激活函数激活得到用于管控f(n)的门特征图G；
步骤3)、将门特征图G和当前层f(n)相乘，得到解码阶段的补偿信息；
步骤4)、基于深度学习库优化神经网络在最后输出处添加一层维度和特征图大小都不变的1×1卷积层，用于输出新结果，从而形成最终的图像语义分割模型；其中，图形语义分割模型通过loss1对原输出层结果进行约束，通过loss2对在原输出层结果上生成的新结果进行约束，从而实现优化和信息补偿；其中，loss1、loss2的计算公式如下：



loss1＝α×BCE+β×PBL(2)
loss2＝α×BCE+β×PBL(3)
α+β＝1(4)
式中，l表示像素值，SK表述像素的标签集合，S表示像素的预测集合，i和j表示像素的索引坐标，pij表示输出结果的概率，I()表示满足括号内条件时，值等于1，否则等于0，N表示类别数，BCE表示交叉熵，loss1表示原输出层的损失函数，loss2为新输出层损失函数，α表示对分割输出结果轮廓的约束，分割区域环境越复杂，值越大，α>0；β表示对分割总体质量的约束，分割区域越离散，值越大,β>0；
步骤5)、获取带语义分割标签的图像，多张所述图像形成训练集，对最终的图像语义分割模型进行训练，得到训练好的模型，用来对待进行语义分割的图像进行图像语义分割。


2.根据权利要求1所述的通过抑制非感兴趣信息的语义分割...

【专利技术属性】
技术研发人员：刘恒，郭明强，黄颖，吴亮，谢忠，关庆锋，韩成德，宋振振，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北;42