一种边缘信息引导的敏捷型遥感图像语义分割方法技术

本发明专利技术技术方案提供了一种边缘信息引导的敏捷型遥感图像语义分割方法，采用Pytorch深度学习框架训练，通过主干网络、边缘自蒸馏模块、语义分割分支、边缘检测分支、特征对齐模块的处理来实现遥感图像的分割。本方法具有非常好的延伸拓展性，可根据实际生产需要对本方法中采用的主干网络进行更换。并且考虑到星上等小型物联网设备环境的限制，本框架针对深度神经网络的规模和运行速度进行了优化，便于面向物联网设备的部署和推广，在保证分割精度的情况下实现了模型的快速敏捷型。情况下实现了模型的快速敏捷型。情况下实现了模型的快速敏捷型。

【技术实现步骤摘要】
Segmentation."IEEE:Computer Vision and Pattern Recognition(2018):7151
‑
7160.)考虑到场景先验信息对于分割结果的重要性，通过上下文编码模块(Context Encoding Module)来捕获全局上下文信息和突出与场景相关联的类别信息。PSANet(Zhao,Hengshuang,et al."PSANet:Point
‑
wise Spatial Attention Network for Scene Parsing."european conference on computer vision(2018):270
‑
286.)通过自适应的注意力机制将特征图地每个位置联系起来促进信息传递，解决了神经网络特征信息局部性的缺陷。受Non
‑
Local启发，DANet(Fu,Jun,et al."Dual Attention Network for Scene Segmentation."IEEE:Computer Vision and Pattern Recognition(2019):3146
‑
3154.)在空间和通道两个层面分别进行上下文特征提取，通过局部和全局的上下文信息挖掘来丰富特征图的多样性使得小目标的特征得到加强，从而提升分割性能。然而，此类方法虽然可以有效对全局特征进行空间和通道建模，但是计算量非常庞大，复杂度高，给实际应用带来很多限制。CCNet(Huang,Zilong,et al."CCNet:Criss
‑
Cross Attention for Semantic Segmentation."IEEE:IEEE:Computer Vision and Pattern Recognition(2019).)提出了一个新颖的纵横交叉关注模块，可以以一种更高效的方式从远程依赖中捕获上下文信息。OCRNet(Yuan,Yuhui,Xilin Chen,and Jingdong Wang."Object
‑
Contextual Representations for Semantic Segmentation.."IEEE:Computer Vision and Pattern Recognition(2019))采用一种由粗到细的方式进行语义分割，结合每一类的类别语义信息给每个像素加权，再和原始的像素特征合并组成最终每个像素的特征表示，在减少冗余计算的同时提升了分割效果。
[0007]尽管这些算法已经在图像分割的精度上取得较大进展，但未满足在卫星或者其他小型化物联网设施进行模型部署的需求，所提出的遥感图像分割算法在参数量与推理速度上都应该具备轻量敏捷化，这些算法并没有对遥感图像分割过程的实时性进行较多考量。此外，这些算法没有从图像结构化的角度对目标进行合理建模，在处理细小目标的精度上还存在一定的可提升性。

技术实现思路

[0008]为了解决上述技术问题，本专利技术充分利用边缘检测任务在对目标进行结构化建模和细节信息捕获上的能力，同时考虑模型自蒸馏策略与特征对齐策略在实现特征相似性中的重要作用，提出一种边缘信息引导的敏捷型图像语义分割方法，在使用轻量化模型(主干网络采用ResNet18)的前提下取得较好的遥感图像分割精度。
[0009]本专利技术所采用的技术方案是：一种边缘信息引导的敏捷型图像语义分割方法，包括以下步骤：
[0010]首先构建边缘信息引导的语义分割模型，包括主干网络、边缘自蒸馏模块、边缘检测分支、语义分割分支和特征对齐模块，各模块的处理过程如下；
[0011]步骤一，主干网络的特征提取过程，使用ResNet18作为主干网络对输入图像I进行特征提取，生成层次化特征供后续模块使用；
[0012]步骤二，边缘自蒸馏模块的边缘预测与自蒸馏过程，融合主干网络提取的层次化特征图进行边缘结果预测，同时利用该模块生成的特征图对主干网络生成的特征图进行自蒸馏；所述边缘自蒸馏模块包括多个卷积块；
[0013]步骤三，边缘检测分支预测边缘检测结果，对主干网络生成的特征图进行特征提取之后预测目标边缘；所述边缘检测分支包括一个卷积块和一个卷积层；
[0014]步骤四，语义分割分支预测语义分割结果，对主干网络生成的特征图进行特征提取之后预测每个像素的类别，得到语义分割结果图；所述语义分割分支包括一个卷积块和一个卷积层；
[0015]步骤五，特征对齐模块对语义分割分支和边缘检测分支生成的特征图进行对齐；所述特征对齐模块包括多个卷积块；
[0016]然后采用数据集对构建的边缘信息引导的语义分割模型进行训练，利用训练好的语义分割模型对待分割图像进行语义分割处理。
[0017]进一步的，步骤二中边缘自蒸馏模块的具体处理过程如下；
[0018]先对主干网络生成的特征图{E1、E2、E3、E4、E5}在通道维度上进行拼接融合，特征图拼接融合之后利用卷积块进一步进行特征提取，得到特征图F
cat
，卷积块由卷积层、ReLu激活函数和batchnormal组成，随后使用1
×
1卷积层将特征图F
cat
的输出通道数降低为1得到Fedge，采用加权交叉熵损失函数构建特征图Fedge与边缘真值之间的损失函数Edge_loss1；
[0019]然后对主干网络生成的特征图{E1、E2、E3、E4、E5}后各自添加一个卷积块进行特征提取得到特征图{F1、F2、F3、F4、F5}，卷积块由卷积层、ReLu激活函数和batchnormal组成；
[0020]利用KL散度来对齐上述生成的特征图F
cat
与各个阶段得到的特征图{F1、F2、F3、F4、F5}，构建得到KL_loss。
[0021]进一步的，步骤三中边缘检测分支的具体处理过程如下；
[0022]对于主干网络生成的特征图E5，边缘检测分支首先通过一个卷积块进行特征提取，得到特征图K1，紧接着再使用1
×
1卷积层将特征图转化为尺寸不同的特征图K2，
[0023]其中卷积块由卷积层、ReLu激活函数和batchnormal组成；
[0024]利用加权交叉熵损失函数构建K2与边缘真值之间的差异性，得到损失函数Edge_loss2。
[0025]进一步的，步骤四中语义分割分支的具体处理过程如下；
[0026]首先利用卷积块对特征图E5进行特征提取，得到特征图S1，随后利用1
×
1卷积层将特征图S1的通道数降低为N，N表示数据集中的类别数，得到特征图S2；
[0027]所述卷积块由卷积层、ReLu激活函数和batchnormal组成；
[0028]利用交叉熵损失函数构建S2与语义分割真值之间的损失函数Seg_loss。
[0029]进一步的，步骤五中语义分割分支的具体处理过程如下；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘信息引导的敏捷型遥感图像语义分割方法，其特征在于，包括如下步骤：首先构建边缘信息引导的语义分割模型，包括主干网络、边缘自蒸馏模块、边缘检测分支、语义分割分支和特征对齐模块，各模块的处理过程如下；步骤一，主干网络的特征提取过程，使用ResNet18作为主干网络对输入图像I进行特征提取，生成层次化特征供后续模块使用；步骤二，边缘自蒸馏模块的边缘预测与自蒸馏过程，融合主干网络提取的层次化特征图进行边缘结果预测，同时利用该模块生成的特征图对主干网络生成的特征图进行自蒸馏；所述边缘自蒸馏模块包括多个卷积块；步骤三，边缘检测分支预测边缘检测结果，对主干网络生成的特征图进行特征提取之后预测目标边缘；所述边缘检测分支包括一个卷积块和一个卷积层；步骤四，语义分割分支预测语义分割结果，对主干网络生成的特征图进行特征提取之后预测每个像素的类别，得到语义分割结果图；所述语义分割分支包括一个卷积块和一个卷积层；步骤五，特征对齐模块对语义分割分支和边缘检测分支生成的特征图进行对齐；所述特征对齐模块包括多个卷积块；然后采用数据集对构建的边缘信息引导的语义分割模型进行训练，利用训练好的语义分割模型对待分割图像进行语义分割处理。2.如权利要求1所述的一种边缘信息引导的敏捷型遥感图像语义分割方法，其特征在于：步骤二中边缘自蒸馏模块的具体处理过程如下；先对主干网络生成的特征图{E1、E2、E3、E4、E5}在通道维度上进行拼接融合，特征图拼接融合之后利用卷积块进一步进行特征提取，得到特征图F
cat
，卷积块由卷积层、ReLu激活函数和batchnormal组成，随后使用1
×
1卷积层将特征图F
cat
的输出通道数降低为1得到Fedge，采用加权交叉熵损失函数构建特征图Fedge与边缘真值之间的损失函数Edge_loss1；然后对主干网络生成的特征图{E1、E2、E3、E4、E5}后各自添加一个卷积块进行特征提取得到特征图{F1、F2、F3、F4、F5}，卷积块由卷积层、ReLu激活函数和batchnormal组成；利用KL散度来对齐上述生成的特征图F
cat
与各个阶段得到的特征图{F1、F2、F3、F4、F5}，构建得到KL_loss。3.如权利要求1所述的一种边缘信息引导的敏捷型遥感图像语义分割方法，其特征在于：步骤三中...

【专利技术属性】
技术研发人员：潘少明，陶玉龙，种衍文，
申请(专利权)人：武汉大学，
类型：发明
国别省市：