基于空间自适应和特征增强暹罗网络的变化检测方法技术

本发明专利技术公开了一种基于空间自适应和特征增强暹罗网络的变化检测方法，该方法包括：构造基于ResNet

【技术实现步骤摘要】
基于空间自适应和特征增强暹罗网络的变化检测方法


[0001]本专利技术属于变化检测领域，具体涉及一种基于空间自适应和特征增强暹罗网络的变化检测方法。

技术介绍

[0002]变化检测的任务是通过分析在同一地点和不同时间采集的一组图像来识别变化和不变的区域。变化检测任务的难点在于消除光照和季节变化引起的“非语义变化”的影响，结果只包含“语义变化”。
[0003]变化检测在地球观测中发挥着越来越重要的作用，通过多时相图像揭示地表变化。由于其在许多应用中的重要性，在图像变化检测领域提出了大量的方法。许多传统的变化检测方法，例如基于图像变换的方法和基于图像分类的方法，只能检测大区域的变化，但通常在小区域的检测中效果不佳。
[0004]随着深度学习的发展，许多基于深度学习的变化检测方法被提出。与传统变化检测方法相比，虽然基于深度学习的变化检测的方法具有良好的建模能力，但在特征提取中，不同大小和形状的对象通常由相同的过滤核处理，这会导致空间模糊，降低变化检测性能。

技术实现思路

[0005]本专利技术的目的在于提供一种基于空间自适应和特征增强暹罗网络的变化检测方法，解决在特征提取过程中，不同大小和形状的对象通常由相同的过滤核处理，导致的空间模糊问题。
[0006]实现本专利技术目的的技术解决方案为：第一方面，本专利技术提供一种基于空间自适应和特征增强暹罗网络的变化检测方法，包括以下步骤：
[0007]第一步，构造基于ResNet
‑
18的暹罗网络用于提取双时态特征；
[0008]第二步，在卷积块注意力模型之后使用3
×
3，5
×
5和7
×
7卷积核来获得具有不同空间信息的三对特征图，分别计算由同一个卷积核得到的一对特征图的欧氏距离，得到差异图；
[0009]第三步，定义空间自适应部分用于获取自适应的空间知识；
[0010]第四步，定义特征增强部分用于加强或削弱变化和不变的特征；
[0011]第五步，引入加权对比损失作为差异图和地面真实图之间的度量，通过最小化损失来训练网络；
[0012]第六步，通过阈值分割从差异图中获得变化图。
[0013]第二方面，本专利技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法的步骤。
[0014]第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法的步骤。
[0015]第四方面，本专利技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
[0016]本专利技术与现有技术相比，其显著特点在于：(1)空间自适应部分被设计去获取自适应的空间知识，以至于不同大小和形状的对象能被清晰的显示出来，能够解决在特征提取过程中，不同大小和形状的对象通常由相同的过滤核处理，导致的空间模糊问题；(2)特征增强部分被设计去加强或减弱变化和不变的特征，以突出显示变化的特征；(3)由于不变像素多于变化像素，因此在训练过程中引入权重对来平衡变化和不变对象，引入加权对比损失作为差异图和地面真实图之间的度量，通过最小化加权对比损失来训练网络。
[0017]下面结合附图对本专利技术作进一步详细描述。
附图说明
[0018]图1是本专利技术的流程图。
[0019]图2是本专利技术的变化检测网络结构。
[0020]图3是本专利技术的空间自适应和特征增强模块。
[0021]图4是本专利技术方法在变化检测数据集上的结果效果图，其中(a)是变化检测数据集在T1时刻的图像，(b)是变化检测数据集在T2时刻的图像，(c)是变化检测数据集地面真实图，(d)是变化检测数据集采用FC
‑
EF方法的变化图，(e)是变化检测数据集采用FC
‑
Siam
‑
diff方法的变化图，(f)是变化检测数据集采用FC
‑
Siam
‑
conc方法的变化图，(g)是变化检测数据集采用SRCDNet方法的变化图，(h)是变化检测数据集采用基于空间自适应和特征增强暹罗网络的变化检测方法的变化图。
具体实施方式
[0022]本专利技术提出一种基于空间自适应和特征增强暹罗网络的变化检测方法，具体来说，属于不同对象的像素拥有自己的空间知识，这是通过称为空间自适应部分的多尺度差异图像的软融合捕获的。特征增强部分将对象特征与每个差异图相结合，从而加强或削弱变化和不变区域。此外，由于不变像素多于变化像素，因此在训练过程中引入权重对来平衡变化和不变对象。
[0023]本专利技术通过提出的空间自适应和特征增强模块，去解决在特征提取过程中，不同大小和形状的对象通常由相同的过滤核处理，导致的空间模糊问题。空间自适应和特征增强模块由空间自适应部分和特征增强部分组成，空间自适应部分能够获取自适应空间知识以至于不同大小和形状的对象能够清晰的显示，特征增强部分能够加强或减弱变化和不变的特征。
[0024]结合图1，下面详细说明本专利技术的实施过程，步骤如下：
[0025]第一步，构造基于ResNet
‑
18的暹罗网络用于提取双时态特征，如图2所示，ResNet
‑
18由四个残差块组成，T1和T2是在相同地理位置不同时间获取的双时态图像。网络的输入为两幅经过配准的双时态遥感图像，经过暹罗网络能够获取不同尺度的特征图，
[0026]第二步，分别计算由同一个卷积核得到的一对特征图的欧氏距离，得到差异图，具体过程为：
[0027]在每个残差块之后，我们获得双时态特征图，并作为空间自适应和特征增强模块
的输入。考虑到卷积块注意力模型(CBAM，Convolutional Block Attention Module)在特征学习中的强大能力，提出的空间自适应和特征增强模块是在卷积块注意力模型特征上进行的，如图3所示。具体而言，在卷积块注意力模型之后使用3
×
3，5
×
5和7
×
7卷积核来获得具有不同空间信息的三对特征图。分别计算由同一个卷积核得到的一对特征图的欧氏距离，得到差异图。可通过以下方式获得差异图：
[0028]DI(F)＝E(σ(f(F1)),σ(f(F2)))
[0029]其中F1和F2是在不同时间从每个残差块获得的特征图，f(
·
)表示卷积核大小分别为3
×
3，5
×
5和7
×
7的卷积操作，σ(
·
)表示sigmoid函数，E(
·
)表示欧氏距离。在不同的卷积核下，我们能得到不同的差异图，分别表示为DI1，DI2和DI3。
[0030]第三步，定义空间自适应部分，具体过程为：
[0031](1)我本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间自适应和特征增强暹罗网络的变化检测方法，其特征在于，包括以下步骤：第一步，构造基于ResNet
‑
18的暹罗网络用于提取双时态特征；第二步，在卷积块注意力模型之后使用3
×
3，5
×
5和7
×
7卷积核来获得具有不同空间信息的三对特征图，分别计算由同一个卷积核得到的一对特征图的欧氏距离，得到差异图；第三步，定义空间自适应部分用于获取自适应的空间知识；第四步，定义特征增强部分用于加强或削弱变化和不变的特征；第五步，引入加权对比损失作为差异图和地面真实图之间的度量，通过最小化损失来训练网络；第六步，通过阈值分割从差异图中获得变化图。2.根据权利要求1所述的基于空间自适应和特征增强暹罗网络的变化检测方法，其特征在于，第一步构造基于ResNet
‑
18的暹罗网络用于提取双时态特征，即将ResNet
‑
18扩展为暹罗结构，网络的输入为两幅经过配准的双时态遥感图像，经过暹罗网络能够获取不同尺度的特征图。3.根据权利要求1所述的基于空间自适应和特征增强暹罗网络的变化检测方法，其特征在于，第二步在卷积块注意力模型之后使用3
×
3，5
×
5和7
×
7卷积核来获得具有不同空间信息的三对特征图，分别计算由同一个卷积核得到的一对特征图的欧氏距离，得到差异图，具体过程为：在每个残差块之后，获得双时态特征图，并作为空间自适应和特征增强模块的输入；空间自适应和特征增强模块是在卷积块注意力模型特征上进行的，在卷积块注意力模型之后使用3
×
3，5
×
5和7
×
7卷积核来获得具有不同空间信息的三对特征图；分别计算由同一个卷积核得到的一对特征图的欧氏距离，得到差异图；通过以下方式获得差异图：DI(F)＝E(σ(f(F1)),σ(f(F2)))其中F1和F2是在不同时间从每个残差块获得的特征图，f(
·
)表示卷积核大小分别为3
×
3，5
×
5和7
×
7的卷积操作，σ(
·
)表示sigmoid函数，E(
·
)表示欧氏距离；在不同的卷积核下，能得到不同的差异图，分别表示为DI1，DI2和DI3。4.根据权利要求3所述的基于空间自适应和特征增强暹罗网络的变化检测方法，其特征在于，第三步定义空间自适应部分，具体过程为：(1)将从每个残差块获取的双时态特征图F1和F2在通道维度上进行融合，然后通过卷积核大小为3
×
3的卷积操作；最后，在通道维度上进行求和以及归一化去获得自适应权重图；自适应权重图通过以下公式得到：其中，f3×3(
·

【专利技术属性】
技术研发人员：刘阳光，刘芳，刘嘉，江凯旋，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：