基于注意力多尺度特征融合的遥感图像语义分割方法技术

本发明专利技术公开了一种基于注意力多尺度特征融合的遥感图像语义分割方法，通过搭建基于注意力多尺度特征融合的语义分割网络，构建训练数据集，采用所述训练数据集进行网络参数训练。在测试时使用训练好的网络对待测数据进行语义分割。所述网络是一种轻量级的编码器‑解码器结构。其中引入了图像级联网络的思想，同时利用注意力机制优化编码特征与解码特征，构造出多尺度注意力优化模块、多尺度特征融合模块、边界增强模块，提取和融合不同尺度的特征图，并使用多尺度的语义标签和边界标签指导训练，能够有效进行遥感图像的语义分割。

Remote sensing image semantic segmentation method based on attention multi-scale feature fusion

【技术实现步骤摘要】
基于注意力多尺度特征融合的遥感图像语义分割方法
本专利技术涉及图像处理
，尤其涉及一种基于注意力多尺度特征融合的遥感图像语义分割方法。
技术介绍
目前，语义分割已经成为计算机视觉领域的关键问题之一。从宏观角度来分析，语义分割是一种为场景理解打好基础的高层任务。现实中有大量的应用场景需要从影像资料中推理出相关的知识或语义(即由具体到抽象的过程)。这些应用包括了无人驾驶、医疗健康、图像搜索引擎、增强现实等方面。通过应用各种计算机视觉的传统方法和机器学习技术，已经可以很好的解决这些问题。然而深度学习的迅猛发展，使得这些方法逐渐失去人们的青睐。近年来，在语义分割领域的学者采用卷积神经网络CNN，来实现图像的高层语义特征的提取，比较流行的网络模型如UNet、ResNet、DeepLab等等。实验表明其在性能方面和时间消耗方面都远远超过传统方法。随着地理空间信息应用的不断深入，如何充分并且准确地提取遥感图像的信息变得尤为重要。遥感图像语义分割作为遥感领域的一项研究热点，在土地管理、灾害预测等民用领域以及军事上有着广泛的应用前景。不同于本文档来自技高网...

【技术保护点】
1.一种基于注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，包括如下步骤：/nS10，搭建基于注意力多尺度特征融合的初始语义分割网络；该步骤具体包括：/nS11，建立预设分辨率图像的深度语义分割网络特征编码器；/nS12，构造特征解码器；/nS13，根据所述深度语义分割网络特征编码器和所述特征解码器确定所述初始语义分割网络；/nS20，构建训练数据集，采用所述训练数据集并对基于注意力多尺度特征融合的语义分割网络进行参数训练，得到基于注意力多尺度特征融合的模型语义分割网络；该步骤具体包括：/nS21，将原始数据集语义真值标签使用最邻近插值法进行压缩，对原始数据集进行边界检测，获取边界真值...

【技术特征摘要】
1.一种基于注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，包括如下步骤：
S10，搭建基于注意力多尺度特征融合的初始语义分割网络；该步骤具体包括：
S11，建立预设分辨率图像的深度语义分割网络特征编码器；
S12，构造特征解码器；
S13，根据所述深度语义分割网络特征编码器和所述特征解码器确定所述初始语义分割网络；
S20，构建训练数据集，采用所述训练数据集并对基于注意力多尺度特征融合的语义分割网络进行参数训练，得到基于注意力多尺度特征融合的模型语义分割网络；该步骤具体包括：
S21，将原始数据集语义真值标签使用最邻近插值法进行压缩，对原始数据集进行边界检测，获取边界真值标签，以确定训练数据集；
S22，将所述训练数据集输入所述初始语义分割网络进行网络参数训练，依据训练结果确定模型语义分割网络；
S30，将待测数据输入所述模型语义分割网络，以对所述待测数据进行语义分割；该步骤具体包括：
S31，将测试数据集输入所述模型语义分割网络，得到每张遥感图像的语义分割结果；
S32，使用MIoU作为评价指标来评价所述模型语义分割网络的性能。


2.根据权利要求1所述的基于注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S11包括：
S1111，将原始图像分辨率下采样为1/2，输入深度残差网络ResNet50；
S1112，使用三个3×3卷积层来取代深度残差网络第一阶段的7×7的卷积层，并在每个阶段后加入dropout层；
S1113，在深度残差网络第三阶段的第一个残差块的输出R1后加入下采样层，将其特征图的大小进一步缩小为原来的1/32，并继续输入到深度残差网络中，得到特征图R2；
S1121，将特征图R2分别进行四次平均池化，池化核大小分别为1×1，3×3，5×5，7×7；
S1122，将池化层的输出通过双线性插值得到与R2大小相同的特征图P1、P2、P3、P4；
S1123，进行逐像素相加使A＝P1+P2+P3+P4+R2；
S1124，通过AveragePooling，conv1x1，batchnorm和sigmoid激活函数计算R2的注意力图，并将注意力图与A逐像素相乘，形成多尺度注意力优化模块的最终输出F1。


3.根据权利要求2所述的基于注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S12包括：
S121，将最终输出F1经过卷积核为1×1的卷积层，得到特征图D1；
S122，将D1、R1输入多尺度特征融合模块，得到大小为原始图像的1/16的特征图O1；
S123，将O1和ResNet50网络的第二阶段的输出特征再次输入多尺度特征融合模块，得到大小为原始图像的1/8的特征图O2；
S124，将分辨率为1024×1024的原始图像经过三个步长为2、卷积核大小为3×3的卷积层，从而得到尺寸为原始图像的1/8的特征图X1；
S125，使用Concatenate层，将X1与O2相叠加，然后接入一个3×3的卷积层，得到尺寸为原始图像的1/8的特征图X2；
S126，将X1、X2输入边界增强模块，得到大小为原始图像的1/4的特征图X3；
S127，采用双线性插值对X1进行上采样，得到特征图Y1；
S128，使用Concatenate层，将X3与Y1相叠加，然后接入一个3×3的卷积层，得到尺寸为原始图像的1/4的特征图Y2；
S129，在训练阶段，在Y2后添加卷积层和全连接Softmax分类器，设置卷积层的通道数为遥感数据集语义分割的类别数n_class，得到尺寸为原始图像的1/4的特征图Y3并产生语义损失函数


4.根据权利要求3所述的基于注意力多尺度特征融合的遥感图像语义分割方法，其特征在于，步骤S122包括：
S1...

【专利技术属性】
技术研发人员：周勇，何欣，赵佳琦，夏士雄，张迪，姚睿，刘兵，杜文亮，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏;32