基于进化混合注意力机制的SAR图像房屋提取方法及系统技术方案

本发明专利技术公开了基于进化混合注意力机制的SAR图像房屋提取方法及系统，方法包括如下步骤：S1，获取SAR图像数据集，对SAR图像数据集进行预处理，得到实验数据集；S2，通过主干网络采集图像特征，并基于进化混合注意力机制构建房屋分割网络；S3，构建损失函数，采用梯度下降和反向传播法，对进化混合注意力机制网络进行训练；S4，利用步骤S3训练完毕的进化混合注意力机制网络对无标签图像进行房屋分割，并得到最终语义分割结果。本发明专利技术有利于识别大幅宽的SAR图像，同时可以增强SAR图像中的可辨识房屋特征，削减冗余特征。削减冗余特征。削减冗余特征。

【技术实现步骤摘要】
基于进化混合注意力机制的SAR图像房屋提取方法及系统


[0001]本专利技术属于合成孔径雷达(SAR,Synthetic Aperture Radar)图像检测与分割
，具体涉及一种基于进化混合注意力机制的SAR图像房屋建筑提取方法及系统。

技术介绍

[0002]目前，在中国城镇化改造的背景下，对于一个地区城市变迁的分析需求日益强烈。SAR图像相较于传统的光学图像，具有成像幅宽大、抗干扰能力强等优点，对于房屋建筑面积的变化情况、人口密度的分析、人口迁徙情况的观察和违章建筑的监督等研究具有重要意义。然而，随着近年SAR图像数据的急速增加，对于SAR图像的识别和分割工作相对落后，因此，对于SAR图像的语义分割、目标识别和对检测结果的分析等方面的研究具有重要意义。
[0003]现阶段，基于传统卷积神经网络(Convolutional Neural Network，CNN)，可以通过浅层学习的纹理特征和深层学习的语义特征，并通过特征融合，对SAR图像进行初步的目标检测和语义分割。但受成像机制的影响，SAR图像在成像的过程中，房屋建筑由于平台的不稳定导致几何形变，也会由于斜距成像产生透视收缩，此外，房屋还会和有一定高度的地物产生叠掩现象，这些都大大增加了图像信息的提取难度。所以，基于传统的深度学习方法对SAR图像中的建筑进行分割，效果往往不尽如人意。
[0004]因此，可以引入注意力机制，利用人类视觉的分析特点，通过扫描仅对重点区域和重点特征进行识别与分析。但目前应用较为广泛的注意力机制对于SAR图像中房屋的识别大多存在一定弊端，压缩和激励网络(Squeeze
‑
and
‑
Excitation Networks，SENet)应用了通道注意力机制，但采用平均池化的方式对特征图进行压缩会导致房屋边缘等特征的丢失；应用空间注意力机制的空间变压器网络(Spatial Transformer Networks，STN)可利用平移不变性聚焦到关键区域进行分析，但同时会丢失图像的全局信息；卷积块注意模块(Convolutional Block Attention Module，CBAM)提出了在SENet后使用空间注意力的方法，来弥补SENet在平均池化时损失的空间特征，但由于两种注意力机制是串行独立操作的，缺乏跨维度的交互操作，所以不适用于大幅宽的SAR图像识别。除此之外，CBAM网络缺乏对于各个局部特征之间依赖性的学习，无法解决SAR图像中房屋几何形变和透视收缩等带来的问题。因此，如何利用不同注意力机制的特点，设计能够克服SAR图像识别难度的进化混合注意力机制网络成为了本领域亟待解决的技术问题。

技术实现思路

[0005]基于现有技术存在的不足，本专利技术旨在提供一种基于进化混合注意力机制的SAR图像房屋建筑提取方法及系统，其采用基于粒子群算法加权融合的方式进行特征融合，得到关于房屋的语义分割结果。
[0006]为实现上述专利技术目的，本专利技术采用以下方案：
[0007]基于进化混合注意力机制的SAR图像房屋提取方法，包括如下步骤：
[0008]S1，获取SAR图像数据集，对SAR图像数据集进行预处理，得到实验数据集；本步骤优选采用SARBuD 1.0(GF
‑
3精细模式SAR建筑数据集)数据集。
[0009]S2，通过主干网络采集图像特征，并基于进化混合注意力机制构建房屋分割网络。本步骤优选采用由16个残差块，49个卷积层组成的ResNet
‑
50为主干网络采集图像特征。
[0010]S3，构建损失函数，采用梯度下降和反向传播法，对进化混合注意力机制网络进行训练改进。
[0011]S4，利用训练完毕的进化混合注意力机制网络对无标签图像进行房屋分割，并得到最终语义分割结果。
[0012]进一步，步骤S1中对数据集的预处理包括：
[0013]S11，从数据集中选取一定比例的以地貌特征为主的图像作为负样本，用于学习地形特征，正负样本比例为1:1.5，避免在建筑稀疏地区，房屋与山区混淆。
[0014]S12，将数据集按照5:1的比例分为训练集和测试集
[0015]进一步，步骤S2的具体步骤如下：
[0016]S21，在主干网络中使用基于空间注意力和跨维度交互模型的三重注意力模型(Triplet Attention Module)，这个步骤对空间维度和通道维度进行了跨维度交互，加强了两个维度之间的依赖性。与CBAM模型相比，可以有效解决SENet中MLP模块造成的通道信息丢失问题，同时，各个维度的交互作用，可以解决CBAM中两注意力模块之间依赖性低的问题。适用于大幅宽SAR图像的识别，同时可以增强SAR图像中的可辨识房屋特征，并忽略冗余特征。
[0017]上述基于空间注意力机制和跨维度交互模型的Triplet Attention定义如下：
[0018]该模型分三个分支模块并行操作，其中第一个分支为高度维度和通道维度间的交互作用，具体步骤如下：
[0019][0020][0021]Z
‑
pool(χ)＝[MaxPool(χ)，AvgPool(χ)]ꢀꢀ
(3)
[0022]第二个分支为宽度维度和通道维度间的交互作用，具体步骤如下：
[0023][0024][0025]第三个分支用于捕获高度与宽度间的空间依赖关系，具体步骤如下：
[0026][0027]其中χ
i
为第i个分支输入的特征图，为经过逆时针旋转(anti
‑
clockwise)后得到交互结果，为池化后的输出结果，C、H、W分别为特征图的通道数，高度和宽度，MaxPool(
·
)为最大池化操作，AvgPool(
·
)为平均池化操作。
[0028]S22，对上述各分支得到的特征图采用基于粒子群算法的权重计算方式，进行加权融合，可避免TripletAttention模型中各特征图平均相加可能带来的弊端。具体步骤如下：
[0029]v
i
＝ωv
i
+c1rand()(pbest
i
‑
α
i
)+c2rand()(gbest
‑
α
i
)
ꢀꢀ
(7)
[0030]α
i
＝α
i
+v
i
i＝1，2，3
ꢀꢀ
(8)
[0031][0032]该过程适应度函数为网络的损失函数，由于整个网络的计算量较大，初始化假设种群粒子个数为10，粒子速度为0到2间的随机数，其中速度小于1表示削弱该特征图的权重，大于1表示增强改特征图的权重。σ为sigmoid函数，用于生成注意权值，f1，f2，f3为三个分支中卷积核大小为k
×
k的卷积层，α1，α2，α3为由粒子群算法得到的权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于进化混合注意力机制的SAR图像房屋提取方法，其特征是包括如下步骤：S1，获取SAR图像数据集，对SAR图像数据集进行预处理，得到实验数据集；S2，通过主干网络采集图像特征，并基于进化混合注意力机制构建房屋分割网络；S3，构建损失函数，采用梯度下降和反向传播法，对进化混合注意力机制网络进行训练；S4，利用步骤S3训练完毕的进化混合注意力机制网络对无标签图像进行房屋分割，并得到最终语义分割结果。2.如权利要求1所述基于进化混合注意力机制的SAR图像房屋提取方法，其特征是，步骤S1中对数据集的预处理包括：S11，从数据集中选取以地貌特征为主的图像作为负样本，用于学习地形特征，正负样本比例为1:1.5；S12，将数据集按照5:1的比例分为训练集和测试集。3.如权利要求2所述基于进化混合注意力机制的SAR图像房屋提取方法，其特征是，步骤S2的具体步骤如下：S21，在主干网络中采用基于空间注意力和跨维度交互模型的三重注意力模型，所述基于空间注意力机制和跨维度交互模型的三重注意力模型定义如下：该模型分三个分支模块并行操作，其中第一个分支为高度维度和通道维度间的交互作用，具体步骤如下：用，具体步骤如下：Z
‑
pool(χ)＝[MaxPool(χ)，AvgPool(χ)]第二个分支为宽度维度和通道维度间的交互作用，具体步骤如下：第二个分支为宽度维度和通道维度间的交互作用，具体步骤如下：第三个分支用于捕获高度与宽度间的空间依赖关系，具体步骤如下：其中χ
i
为第i个分支输入的特征图，为经过逆时针旋转(anti
‑
clockwise)后得到交互结果，为池化后的输出结果，C、H、W分别为特征图的通道数，高度和宽度，MaxPool(
·
)为最大池化操作，AvgPool(
·
)为平均池化操作；S22，对上述分支得到的特征图采用基于粒子群算法的权重计算方式，进行加权融合，具体步骤如下：v
i
＝ωv
i
+c1rand()(pbest
i
‑
α
i
)+c2rand()(gbest
‑
α
i
)α
i
＝α
i
+v
i i＝1，2，3初始化假设种群粒子个数为10，粒子速度为0到2间的随机数，其中速度小于1表示削弱
该特征图的权重，大于1表示增强改特征图的权重；σ为sigmoid函数，用于生成注意权值，f1，f2，f3为三个分支中卷积核大小为k
×
k的卷积层，α1，α2，α3为由粒子群算法得到的权重，ω为惯性因子，rand()为0到1间的随机数，pbest为当前粒子的极值，gbest为全局最优值，表示将特征图顺时针旋转90
°
恢复至原始输入状态，y为输出特征图；S23，对主干网络输出的特征图，采用基于双通道自注意力机制的双注意力网络，所述基于双通道自注意力机制的双注意力网络定义如下：该网络由并行的空间自注意力机制和通道自注意力机制组成，其中空间自注意力机制用于捕获特征间的远程关联，具体步骤如下：用于捕获特征间的远程关联，具体步骤如下：S＝softmax(C
T
B)B)其中A为输入的特征图，B、C、D为经过卷积层后得到的特征图，s
ji
为第i个位置对第j个位置的影响，α为尺度参数，初始设置为0，为最后的输出特征图；通道自注意力机制用于捕获各个通道间的依赖关系，具体步骤如下：X＝softmax(A
*
A
*T
))其中A
*
为重塑后得到的特征图，x
ji
为第i个通道对第j个通道的影响，β为尺度参数，并初始化为0，为最后的输出特征图；最后将两个分支得到的特征图进行相加融合，得到输出结果。4.如权利要求3所述基于进化混合注意力机制的SAR图像房屋提取方法，其特征是，步骤S3中的训练过程具体如下：S31，构建交叉熵损失函数，逐像素计算交叉熵损失，将预测结果与目标向量比较，计算公式如下：Loss＝
‑
[y
·
log(p)+(1
‑
y)
·
log(1
‑
p)]其中，y为样本标签，房屋建筑为1，背景为0；p表示样本被预测为房屋建筑的概率；
S32，计算损失函数在房屋分割网络中各层的梯度，采用梯度下降和反向传播算法求解网络参数，参数更新公式如下：其中，和分别为迭代t次和迭代t+1次后房屋分割网络第i层的参数，η为迭代至第t次时的学习率，Loss为上一步骤计算的损失函数。5.如权利要求4所述基于进化混合注意力机制的SAR图像房屋提取...

【专利技术属性】
技术研发人员：周一鸣，滕旭阳，胡楚哲，郭明宇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：