一种高分辨率遥感图像变化检测深度网络及检测方法技术

本发明专利技术属于遥感变化检测技术领域，公开了一种高分辨率遥感图像变化检测深度网络及检测方法。所述深度网络为注意力引导的多级特征融合网络(AGMFFNet)。在特征编码阶段，同时采用早期融合结构和晚期融合结构提取双时相图像的上下文特征和局部相关特征。在特征融合阶段，在每一层网络结构之间提出了一种早晚期混合特征融合模块(ELMFFM)，用于融合并增强图像的差异特征。此外，在特征解码阶段，进一步提出了一种多级辅助特征重建模块(MAFRM)来弥补传统直接上采样方法造成的空间信息损失。通过在2个公开的数据集中证明了所提出网络和方法的有效性。有效性。有效性。

【技术实现步骤摘要】
一种高分辨率遥感图像变化检测深度网络及检测方法


[0001]本专利技术属于遥感变化检测
，具体为一种高分辨率遥感图像变化检测深度网络及检测方法。

技术介绍

[0002]遥感变化检测是一种通过联合处理在同一地理区域采集的双时相或多时相图像来识别地球表面发生变化的过程。它已经广泛应用于城市规划、灾害评估、植被覆盖等领域。随着卫星成像技术的快速发展，各种数据源类型的传感器层出不穷，高分辨率遥感图像由于其覆盖范围广、时空分辨率高，已被证明是变化检测的主要数据源。
[0003]传统的变化检测方法可以分为基于像素的方法和基于对象的方法。基于像素的变化检测方法通过比较相邻相位中像素或区域之间的差异来测量图像的变化，如变化向量分析(CVA)、主成分分析(PCA)等。但是，此类方法计算量大且仅根据单个像素的光谱值变化，难以处理具有复杂数据源和特征的图像。基于对象的变化检测方法利用光谱、纹理等特征信息将图像分割成不同类别，然后通过比较对应区域得到变化检测结果，如支持向量机(SVM)、马尔科夫随机场(MRF)等。此类方法综合考虑了图像的光谱和空间等信息，但是最终检测结果依赖于每个特征提取和分类单元的结果，容易造成错误信息积累，从而限制检测精度。随着卫星成像技术和变化检测技术的快速发展，传统变化检测方法已经不能满足于对检测精度的要求。深度学习方法由于其强大的特征提取能力和优越的效果，已被广泛应用于变化检测，并在变化检测任务中表现出良好的性能。
[0004]基于深度学习的变化检测方法可以粗略地分为早期融合方法和晚期融合方法，分别在特定位置融合来自不同数据源的特征。早期融合方法在提取变化特征之前融合双时相图像，对融合后的图像进行特征提取和变化图生成操作。该方法能够自适应地提取图像变化前后的信息，同时能够获取到变化区域的时空上下文信息。但是，将两张图像融合为一张后，可能会造成图像细节信息的丢失或产生新的噪声影响，从而导致变化图精度降低。因此，晚期融合方法是通过边提取特征边进行融合或先提取特征再进行融合的方式来实现变化检测的。具体来说，双时相图像分别被送入两个相同的编码器网络，然后再通过差异度量或融合的方法获得变化图。基于差异度量的方法通常采用计算对应特征像素之间的差异值来判断变化区域。该方法计算简单，但是仅通过计算局部像素之间的差异性，忽略了邻域上下文信息对变化区域的影响，从而在生成最终的变化图时可能会造成双时相图像之间相关信息的缺失。基于融合的方法通常将对应层的语义特征进行融合后，再通过一系列的卷积操作生成变化图。然而，该方法面临的问题依然是时空上下文信息不足。

技术实现思路

[0005]变化检测旨在从双时相图像中识别地表发生的变化。近年来，基于深度学习的方法在变化检测领域取得了突破性的进展。现有方法大多通过单一的早期融合结构或晚期融合结构来提取双时相图像的多尺度特征。然而，晚期融合方法没有考虑到邻域的上下文信
息，且只能通过融合或度量的方式获得差异图，导致提取的差异特征较为单一；而早期融合方法缺乏对单个原始图像的深层特征提取能力，在重建变化图时容易缺乏细节特征。因此，针对上述问题本专利技术提供了一种高分辨率遥感图像变化检测深度网络及检测方法。
[0006]为了达到上述目的，本专利技术采用了下列技术方案：
[0007]本专利技术提供了一种高分辨率遥感图像变化检测深度网络，所述深度网络为注意力引导的多级特征融合网络(AGMFFNet)，主要由三部分组成：特征提取网络(Feature Extraction,FE)、早晚期混合特征融合模块(ELMFFM)和多级辅助特征重建模块(MAFRM)；所述FE用于提取图像的上下文特征和局部相关特征信息；所述ELMFFM用于融合并增强FE所提取的图像的差异特征；所述MAFRM用于恢复特征图大小，同时弥补传统直接上采样方法造成的空间信息损失。
[0008]进一步，所述FE包括早期融合子网络(FE1)和晚期融合子网络(FE2)，分别用于提取图像的上下文特征和局部相关特征，由一个空洞卷积模块、一个最大池化层和四个残差模块组成，空洞卷积模块由4个连续的空洞卷积组成。FE是基于SE
‑
ResNet50构建的，为保证在特征解码阶段，每一层特征在上采样时都有高分辨率特征进行辅助，将原SE
‑
ResNet50中第一个7
×
7的卷积层替换为一个空洞卷积模块，该模块由4个连续的空洞卷积组成。
[0009]进一步，所述ELMFFM在FE的池化层及其之后的每一层之间均具有一个，用来有效融合FE所提取的语义特征信息，ELMFFM包括邻域自注意力模块(NSAM)和通道自注意力模块(CSAM)，NSAM用于融合提取的差异信息和全局信息，CSAM用于增强NSAM融合信息中对变化目标有用的通道信息。
[0010]进一步，所述MAFRM用于特征解码，恢复特征图的大小，包括空间注意力模块(SAM)和通道注意力模块(CAM)，分别用于整合局部特征信息和通道依赖关系，以达到更好的特征重建效果。
[0011]本专利技术还提供一种基于前文所述深度网络的高分辨率遥感图像变化检测方法，包括以下步骤：
[0012]步骤1，训练前文所述的深度网络；
[0013]步骤2，将图像送入特征提取网络，以提取多级深度特征；
[0014]步骤3，将特征提取网络中第二层和之后每一层的输出作为早晚期混合特征融合模块的输入，通过分层地进行多级混合特征融合，以生成有效的差异特征；
[0015]步骤4，结合早晚期混合特征融合模块每一层的差异特征，使用多级辅助特征重建模块以辅助上采样的方式将特征图逐层恢复到输入图像的大小，预测最终的变化图。由于直接上采样可能会造成空间分层信息的损失。
[0016]进一步，所述步骤1中深度网络的训练是利用训练图像和相对应的真实值来优化精确网络的目标函数，具体过程为：
[0017]先使用交叉熵损失函数，测量预测值与真实值之间的差异，确保变化图尽可能的接近真实值，其定义如下：
[0018][0019]其中，n表示样本数，y
k
表示给定样本的真实值，表示预测概率值；
[0020]再增加骰子损失，克服样本不平衡的问题，其定义如下：
[0021][0022]其中，和
y
分别表示预测图和真实标签；
[0023]最后，将两种损失函数混合作为所述网络的优化目标，表示为：
[0024]L＝L
CE
+L
Dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)。
[0025]在变化检测中，未变化区域像素的数量往往大于变化区域像素的数量，在样本类别不平衡的影响下，网络模型的训练方向通常被大多数未变化像素引导，从而忽略了少数变化像素的信息，导致效率较低。因此，我们增加了骰子损失，以克服样本不平衡的问题。
[0026]进一步，所述步骤2的具体过程为：首先将特征提取网络空洞卷积模块的4个连续空洞卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高分辨率遥感图像变化检测深度网络，其特征在于：所述深度网络为注意力引导的多级特征融合网络，主要由三部分组成：特征提取网络、早晚期混合特征融合模块和多级辅助特征重建模块；所述特征提取网络用于提取图像的上下文特征和局部相关特征信息；所述早晚期混合特征融合模块用于融合并增强特征提取网络所提取的图像的差异特征；所述多级辅助特征重建模块用于恢复特征图大小，同时弥补传统直接上采样方法造成的空间信息损失。2.根据权利要求1所述的一种高分辨率遥感图像变化检测深度网络，其特征在于：所述特征提取网络包括早期融合子网络和晚期融合子网络，分别用于提取图像的上下文特征和局部相关特征，由一个空洞卷积模块、一个最大池化层和四个残差模块组成，空洞卷积模块由4个连续的空洞卷积组成。3.根据权利要求2所述的一种高分辨率遥感图像变化检测深度网络，其特征在于：所述早晚期混合特征融合模块在特征提取网络的池化层及其之后的每一层之间均具有一个，用来有效融合特征提取网络所提取的语义特征信息，早晚期混合特征融合模块包括邻域自注意力模块和通道自注意力模块，邻域自注意力模块用于融合提取的差异信息和全局信息，通道自注意力模块用于增强邻域自注意力模块融合信息中对变化目标有用的通道信息。4.根据权利要求2所述的一种高分辨率遥感图像变化检测深度网络，其特征在于：所述多级辅助特征重建模块用于特征解码，恢复特征图的大小，包括空间注意力模块和通道注意力模块，分别用于整合局部特征信息和通道依赖关系，以达到更好的特征重建效果。5.一种基于权利要求1
‑
4任一项所述深度网络的高分辨率遥感图像变化检测方法，其特征在于，包括以下步骤：步骤1，训练权利要求1所述的深度网络；步骤2，将图像送入特征提取网络，以提取多级深度特征；步骤3，将特征提取网络中第二层和之后每一层的输出作为早晚期混合特征融合模块的输入，通过分层地进行多级混合特征融合，以生成有效的差异特征；步骤4，结合早晚期混合特征融合模块每一层的差异特征，使用多级辅助特征重建模块以辅助上采样的方式将特征图逐层恢复到输入图像的大小，预测最终的变化图。6.根据权利要求5所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤1中深度网络的训练是利用训练图像和相对应的真实值来优化精确网络的目标函数，具体过程为：先使用交叉熵损失函数，测量预测值与真实值之间的差异，确保变化图尽可能的接近真实值，其定义如下：其中，n表示样本数，y
k
表示给定样本的真实值，表示预测概率值；再增加骰子损失，克服样本不平衡的问题，其定义如下：其中，和y分别表示预测图和真实标签；
最后，将两种损失函数混合作为所述网络的优化目标，表示为：L＝L
CE
+L
Dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)。7.根据权利要求5所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤2的具体过程为：首先将特征提取网络空洞卷积模块的4个连续空洞卷积的空洞率设置为1、2、1、2，将最大池化层的步距改为1，并将第一个残差模块的步距改为2，使得特征图在通过每一个残差模块后的大小压缩为上一层的1/2；然后将双时相图像T0和T1分别送入早期融合子网络FE1和晚期融合子网络FE2中，以提取多级深度特征，分别为早期融合特征F
E
和成对晚期融合特征F
0L
和F
1L
。8.根据权利要求7所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤3的具体过程为：将早...

【专利技术属性】
技术研发人员：王斌，赵倩，王靖，赵康，
申请(专利权)人：中北大学，
类型：发明
国别省市：