一种基于多尺度注意力的遥感影像建筑物并行提取方法技术

本发明专利技术公开了一种基于多尺度注意力的遥感影像建筑物并行提取方法，本发明专利技术设计并实现了一种结合注意力机制的建筑物提取网络MGAR。本发明专利技术利用多头注意力对高等级语义信息进行分层加权处理，以提取出表征效果较为完善的最优特征组合；而后使用门控结构将每维特征图与对应编码端的低级语义信息相融合，来弥补局部建筑物细节信息的丢失问题。建筑物细节信息的丢失问题。建筑物细节信息的丢失问题。

【技术实现步骤摘要】
一种基于多尺度注意力的遥感影像建筑物并行提取方法


[0001]本专利技术涉及遥感影像
，具体涉及一种基于多尺度注意力的遥感影像建筑物并行提取方法。

技术介绍

[0002]在遥感大数据时代背景下，不断涌现的高分辨率、高光谱等高质量遥感影像为地球科学研究提供了丰富的数据支持，并有效促进了空间信息技术的发展。遥感影像建筑物提取是遥感数据挖掘中最为重要的研究领域之一，在城市规划、生态环境建设、土地利用分析、军事勘测等众多方面具有着重要的实际应用价值。然而，建筑物形状、结构、尺寸、纹理等方面差异明显，遥感影像背景信息复杂、地物干扰较多，这些因素导致提取结果容易出现混淆、漏测、噪声点密集等问题，因此如何从遥感影像中快速且准确地提取出轮廓清晰且结构完整的建筑物目标仍是当前需要克服的难题。
[0003]随着深度学习技术的快速发展，基于深度卷积神经网络(Deep convolution neural network，DCNN)的语义分割模型被广泛应用于遥感影像建筑物提取任务当中。其中，基于全卷积神经网络(Fully Convolutional Networks，FCN)的建筑物分割方法最为流行，相较于传统的卷积神经网络(Convolution Neural Network，CNN)，FCN采用反卷积替代全连接层，有效解决了模型计算复杂度较高的问题。研究人员将FCN及其改进版本如UNet、SegNet、PSPNet等应用于建筑物提取任务中，并取得了大量研究成果。张翠军等基于Unet网络提出非对称卷积块代替常规卷积操作，增强了模型对变化类特征的学习能力；针对建筑物边缘细节缺失的问题，何直蒙等在Unet中提出了结合空洞卷积的E
‑
Unet算法，边缘的感知效果要优于传统的Unet结构。张春森等则基于SegNet网络进行改进，结合Lorentz函数稀疏约束因子提出了LSPNet语义分割模型，极大提升了大型建筑物目标的提取效果。上述研究都取得了较好的建筑物提取效果，然而其中多尺度特征的提取与融合方式大多基于相同权重聚合多尺度上下文信息，不能够辨别不同尺度大小的建筑物目标在影像中的重要程度，以及建筑物目标自身像素点对不同空间位置的依赖需求，导致目标误检以及内部噪声现象明显的问题。
[0004]因此，提供一种利用位置编码与缩放点积操作对特征图进行分层加权操作，以获取与影像匹配性最高的最优特征组合，并设计门控流程融合对应编码端低级语义信息，以精细化图像恢复过程的基于多尺度注意力的遥感影像建筑物并行提取方法，已是一个值得研究的问题。

技术实现思路

[0005]本专利技术的目的是提供一种利用位置编码与缩放点积操作对特征图进行分层加权操作，以获取与影像匹配性最高的最优特征组合，并设计门控流程融合对应编码端低级语义信息，以精细化图像恢复过程的基于多尺度注意力的遥感影像建筑物并行提取方法，本专利技术基于自适应加权思想，提出了一种结合注意力机制的建筑物提取网络MGAR(Multi
‑
scale Gating Attention with ResNet50)。建筑物提取网络MGAR首先在原始ResNet50结构中结合空洞卷积与金字塔池化获取细节信息丰富的多尺度语义信息。在此基础上，利用位置编码与缩放点积操作对特征图进行分层加权操作，以获取与影像匹配性最高的最优特征组合。同时，为弥补建筑物局部细节丢失的问题，进一步设计门控流程融合对应编码端低级语义信息，以精细化图像恢复过程。
[0006]本专利技术的目的是这样实现的：一种基于多尺度注意力的遥感影像建筑物并行提取方法，包括以下步骤：步骤S1、建立建筑物提取网络MGAR架构，以改善基于深度学习的遥感影像建筑物提取方法中的目标捡漏与噪声密集问题：利用多头注意力对高等级语义信息进行分层加权处理，以提取出表征效果较为完善的最优特征组合；而后使用门控结构将每维特征图与对应编码端的低级语义信息相融合，来弥补局部建筑物细节信息的丢失问题；步骤S2、在Massachusetts Building、WHU Building公开数据集上进行实验，以验证步骤1提出建筑物提取网络MGAR架构的有效性。
[0007]所述步骤S1的具体操作步骤如下：步骤S1.1多尺度特征解译在解码端提出一种多尺度特征解译模块MGA，并进一步细化为注意力模块与门控单元，以提取出表征效果较为完善的最优特征组合；步骤S1.2基于多头注意力机制的特征解译，多头注意力机制通过对特征序列中每一个分量赋予不同权重方式，从大量干扰因素中筛选出其中的重要信息，并采用多个独立的Attention头进行并行计算，在提升计算效率的同时可有效防止模型过拟合问题；首先通过Flatten操作将[H，W，C]的特征图转化为[H
×
W，C]的特征序列，而后对特征序列的每一分量进行位置编码征序列的每一分量进行位置编码其中pos为像素点在序列中的位置，i为输入特征的第i个通道，d
model
为序列维度；位置编码利用正余弦函数为每一个像素点分配一个唯一的标识，用以记录正样本像素的位置信息，并使特征序列上任一位置的像素点能被其他位置信息线性表示；最后使用Softmax函数对注意力得分进行归一化处理，将权重向量与V相乘以完成单一维度特征图的加权计算，单一维度特征图的加权计算，在式(3)中，W
iQ
、W
iK
、W
iV
分别为第i(i∈{1，...，h})个线性变换下Q、K、V对应初始参数的转移矩阵，head
i
为i个注意力头的输出结果，对应于特征图的4种尺度。再通过一次线性变换将多头特征图聚合以得到最终结果；MultiHead(Q，K，V)＝Concat(headh1，head2，head3，head4)W
Q
ꢀꢀꢀꢀꢀ
(5)在式(5)中，MultiHead(MH)为经过多头注意力机制加权后的多尺度混合特征矩阵，Concat为连接操作，W
Q
为转移矩阵；
步骤S1.3基于门控机制的特征融合，在解码端图像复原的过程中，为保留更多的细节信息，往往直接采用上一级下采样结果与对应编码端低级特征逐像素相加方式进行特征融合，如经典的FPN结构。然而该种方式等同看待两部分信息的重要性，导致融合结果往往夹杂着大量的噪声。为此，多尺度特征解译模块MGA采用门控方式调节特征融合过程，在步骤S1.2的基础上，为了弥补建筑物局部细节丢失的问题，进一步设计门控流程融合对应编码端低级语义信息，以精细化图像恢复过程；采用同级编码器特征图C_n、上一级多尺度特征图M_n与经过多头注意力处理后的特征图〖MH〗_n作为输入进行特征融合H
n
＝sigmoid(conv(C
n
))
‑
M
n
+C
n
+MH
n
ꢀꢀ
(6)G
n
＝sigmoid(conv(H
n
)
ꢀꢀꢀꢀ
(7)P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度注意力的遥感影像建筑物并行提取方法，其特征在于：包括以下步骤：步骤S1、建立建筑物提取网络MGAR架构，以改善基于深度学习的遥感影像建筑物提取方法中的目标捡漏与噪声密集问题；利用多头注意力对高等级语义信息进行分层加权处理，以提取出表征效果较为完善的最优特征组合；而后使用门控结构将每维特征图与对应编码端的低级语义信息相融合，来弥补局部建筑物细节信息的丢失问题；步骤S2、在Massachusetts Building、WHU Building公开数据集上进行实验，以验证步骤1提出建筑物提取网络MGAR架构的有效性。2.根据权利要求1所述的基于多尺度注意力的遥感影像建筑物并行提取方法，其特征在于：所述步骤S1的具体操作步骤如下：步骤S1.1多尺度特征解译，在解码端提出一种多尺度特征解译模块MGA，并进一步细化为注意力模块与门控单元，以提取出表征效果较为完善的最优特征组合；步骤S1.2基于多头注意力机制的特征解译，多头注意力机制通过对特征序列中每一个分量赋予不同权重方式，从大量干扰因素中筛选出其中的重要信息，并采用多个独立的Attention头进行并行计算，在提升计算效率的同时可有效防止模型过拟合问题；首先通过Flatten操作将[H,W,C]的特征图转化为[H
×
W,C]的特征序列，而后对特征序列的每一分量进行位置编码列的每一分量进行位置编码其中pos为像素点在序列中的位置，i为输入特征的第i个通道，d
model
为序列维度；位置编码利用正余弦函数为每一个像素点分配一个唯一的标识，用以记录正样本像素的位置信息，并使特征序列上任一位置的像素点能被其他位置信息线性表示；最后使用Softmax函数对注意力得分进行归一化处理，将权重向量与V相乘以完成单一维度特征图的加权计算，维度特征图的加权计算，在式(3)中，W
iQ
、W
iK
、W
iV
分别为第i(i∈{1，...，h})个线性变换下Q、K、V对应初始参数的转移矩阵，head
i
为i个注意力头的输出结果，对应于特征图的4种尺度...

【专利技术属性】
技术研发人员：赫晓慧，李盼乐，程淅杰，乔梦佳，原晨桥，高亚军，田智慧，刘飞，
申请(专利权)人：郑州大学，
类型：发明
国别省市：