一种基于时空特征融合的遥感图像变化检测方法技术

本发明专利技术公开了一种基于时空特征融合的遥感图像变化检测方法。本发明专利技术基于跨时间门控机制与跨尺度注意力机制，在遥感图像变化检测任务中引入时间特征融合模块和空间特征融合模块。本发明专利技术在时间特征融合模块中，基于跨时间门控机制来指导对兴趣变化的选择性增强和对非兴趣变化的抑制，从而获得精确变化表示，并通过空间特征融合模块将最深层变化表示分别与其他浅层变化表示融合，基于跨尺度注意力机制使用高层表示来指导低层表示进行上下文建模，增强低层表示的特征表达能力从而捕获兴趣变化的细粒度信息，更好地恢复变化表示的空间细节。本发明专利技术为特征融合机制在复杂遥感图像背景下的变化检测任务提供了新的解决方式，并且能有效提高变化检测的效果。能有效提高变化检测的效果。能有效提高变化检测的效果。

【技术实现步骤摘要】
一种基于时空特征融合的遥感图像变化检测方法


[0001]本专利技术与深度学习领域和计算机视觉领域有关，具体涉及一种基于时空特征融合的遥感图像变化检测方法。

技术介绍

[0002]目标级变化检测是遥感领域的一项具有代表性的关键任务，经常在多时间高空间分辨率遥感图像上完成。遥感图像变化检测处理一系列在不同时间点针对在特定区域拍摄的空间共配准图像，其目的是将每个像素标记为“已变化”或“未变化”。该任务帮助揭示当地发展，并在城市规划、环境监测、灾害评估等工作中具有重要影响。
[0003]传统的遥感图像变化检测方法与基本分析单元相结合，即通过简单变换生成差异图像(如变化向量分析和马尔可夫随机场模型)。然后通过阈值化或聚类分析来获得变化表示。然而，依赖于手工制作的特征，这些方法还不能有效检测遥感图像变化的关键信息。最近深度学习的兴起使卷积神经网络(Convolutional Neural Network,CNN)能够促进基于区分层次特征提取的遥感图像变化检测方法的发展。例如，IFNet和DTCDSCN采用U形架构，通过连接不同空间尺度上的双时间图像特征来获得变化特征图；SNUNet在此基础上进一步采用密集的连接来捕捉更多的变化细节；SemiCDNet和LGPNet引入注意力机制来提供更具表达性的变化表示，从而提高变化检测的性能。然而，这些方法将遥感图像变化检测视为一个简单的二分类任务，仅仅依靠特征拼接或特征相减来获得变化表示，并密集连接不同空间尺度上的变化表示以恢复空间细节，它们的性能有很大的改进空间。此外，卷积神经网络的密集连接设计导致复杂结构，需要密集计算，不利于实际应用。
[0004]与二分类任务相比，变化检测往往存在重大挑战。首先，存在大量的伪变化。在双时间图像中，干扰因素(如天气、季节、光照)经常导致许多不感兴趣的变化。而在许多情况下，大量不感兴趣的变化是由干扰因素产生的，如天气、光线、季节等。而“变化”的定义可能因人的应用和主观意识而有所不同。因此如何强调感兴趣的变化而忽略非感兴趣的变化，对于变化检测尤为重要。其次，变化细节要求较高。在大多数情况下，变化检测中变化像素的数量往往比不变像素的数量要小得多，定位具有精细结构细节的变化对象十分具有挑战性。因此有效捕获变化对象的细粒度空间细节信息是非常必要的。
[0005]针对于上述第一点，以往的大多数解决方式都是通过简单的特征拼接或特征相减来提供变化表示，而这结果往往不尽人意。针对于上述第二点，以往的大部分工作都是通过密集连接多尺度的变化表示，以获得丰富的语义信息和空间细节。然而，在高、低变化表示的密集连接过程中，高层特征的低质量边界和低层特征的无关背景引入更多的干扰信息，导致变化检测结果下降。同时，采用该种密集连接的方式往往参数量大，计算复杂。
[0006]因此对于具有复杂背景的变化检测任务，设计一种具有优越性能的网络，从而提高图像变化检测的性能，是目前亟待解决的技术问题。

技术实现思路

[0007]本文提供了一种基于时空特征融合的遥感图像变化检测方法。本方法旨在强调变化检测任务中感兴趣的变化而忽略非感兴趣的变化，并且有效地捕获变化对象的细粒度空间细节信息，以解决目前变化检测存在的重大问题。
[0008]本专利技术的具体技术方案如下：
[0009]一种基于时空特征融合的遥感图像变化检测方法，其通过将待进行变化检测的两个不同时间点的遥感图像组合为双时间图像，输入由编码器模块、时间特征融合模块(Temporal Feature Fusion,TFF)、空间特征融合模块(Spatial Feature Fusion,SFF)和轻量级解码器模块组成的变化检测模型中，获得两个时间点的遥感图像之间的变化检测结果；
[0010]所述编码器模块，首先利用骨干网络分别从双时间图像中提取从浅到深不同尺度的双时间特征表示；然后分别使用一个独立的时间特征融合模块基于跨时间门控机制融合每一个尺度的双时间特征表示，从而获得相应尺度下时间特征融合后的变化表示，以强调感兴趣的变化；其次将最后一个时间特征融合模块输出的最深层变化表示分别与其余每个时间特征融合模块输出的浅层变化表示输入一个独立的空间特征融合模块中，利用跨尺度注意力捕获变化表示的细粒度信息并恢复其空间细节，得到时空特征融合变化表示；最终将时间特征融合模块输出的最深层变化表示和其余所有空间特征融合模块输出的时空特征融合变化表示一并输入到轻量级解码器模块中；
[0011]所述时间特征融合模块以双时间特征表示作为输入，首先对双时间特征表示中的两个时间特征表示进行相减操作得到包含二者差异信息的粗糙变化表示；然后利用该粗糙变化表示分别与双时间特征表示进行拼接，并使用深度可分离卷积进行特征整合，每个整合后的特征表示通过卷积与Sigmoid激活获得权重图，利用两个权重图分别与双时间特征进行加权求和，再通过深度可分离卷积后得到兴趣变化加强后的双时间特征表示；最终将兴趣变化加强后的双时间特征表示进行拼接，从而得到最终的精细变化表示作为时间特征融合模块的输出；
[0012]所述空间特征融合模块以最后一个时间特征融合模块输出的最深层变化表示和其中一个时间特征融合模块输出的浅层变化表示作为输入，将最深层变化表示上采样后与浅层变化表示进行拼接得到融合特征表示，以融合特征表示作为查询Q和键K，以浅层变化表示作为值V，先将查询Q的1*1卷积结果和每个键K的1*1卷积结果通过相似度计算得到权重并对所有权重进行归一化从而转换为注意力权重，然后将归一化后的注意力权重和值V的1*1卷积结果进行加权求和，增强低层变化表示的特征表达能力，得到增强后的变化表示；最终将该增强后的变化表示与原始输入的浅层变化表示再次进行拼接，从而最终得到时空特征融合变化表示并作为空间特征融合模块的输出；
[0013]在所述轻量级解码器模块中，首先将最后一个时间特征融合模块输出的最深层变化表示和其余三个空间特征融合模块输出的时空特征融合变化表示分别上采样至同一尺度后再沿通道方向进行拼接；然后利用通道注意力机制对拼接后的变化表示进行增强；最终对增强后的变化表示上采样至输入的遥感图像大小，并得到最终的双时间图像之间的变化检测结果。
[0014]作为优选，所述骨干网络为ResNet
‑
18模型，其中一共包含4个残差块。
[0015]作为优选，所述骨干网络中，前3个残差块输出三个不同尺度的浅层特征表示，第4个残差块输出最深层的变化表示。
[0016]作为优选，所述时间特征融合模块中需要融合的尺度数为4，对于骨干网络输出的4个尺度的双时间特征表示，分别需要进行融合；每一个尺度的双时间特征表示和先通过相减来得到粗糙变化表示然后分别将与进行拼接，并将两个拼接结果分别通过深度可分离卷积进行特征整合，分别得到其中其中表示拼接操作，表示深度可分离卷积；然后计算的权值和的权值其中ω表示1
×
1卷积，σ为一个激活函数；最后计算最终的精细变化表示其中
×
表示逐元素相乘。
[0017]作为优选，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空特征融合的遥感图像变化检测方法，其特征在于：将待进行变化检测的两个不同时间点的遥感图像组合为双时间图像，输入由编码器模块、时间特征融合模块、空间特征融合模块和轻量级解码器模块组成的变化检测模型中，获得两个时间点的遥感图像之间的变化检测结果；所述编码器模块，首先利用骨干网络分别从双时间图像中提取从浅到深不同尺度的双时间特征表示；然后分别使用一个独立的时间特征融合模块基于跨时间门控机制融合每一个尺度的双时间特征表示，从而获得相应尺度下时间特征融合后的变化表示，以强调感兴趣的变化；其次将最后一个时间特征融合模块输出的最深层变化表示分别与其余每个时间特征融合模块输出的浅层变化表示输入一个独立的空间特征融合模块中，利用跨尺度注意力捕获变化表示的细粒度信息并恢复其空间细节，得到时空特征融合变化表示；最终将时间特征融合模块输出的最深层变化表示和其余所有空间特征融合模块输出的时空特征融合变化表示一并输入到轻量级解码器模块中；所述时间特征融合模块以双时间特征表示作为输入，首先对双时间特征表示中的两个时间特征表示进行相减操作得到包含二者差异信息的粗糙变化表示；然后利用该粗糙变化表示分别与双时间特征表示进行拼接，并使用深度可分离卷积进行特征整合，每个整合后的特征表示通过卷积与Sigmoid激活获得权重图，利用两个权重图分别与双时间特征进行加权求和，再通过深度可分离卷积后得到兴趣变化加强后的双时间特征表示；最终将兴趣变化加强后的双时间特征表示进行拼接，从而得到最终的精细变化表示作为时间特征融合模块的输出；所述空间特征融合模块以最后一个时间特征融合模块输出的最深层变化表示和其中一个时间特征融合模块输出的浅层变化表示作为输入，将最深层变化表示上采样后与浅层变化表示进行拼接得到融合特征表示，以融合特征表示作为查询Q和键K，以浅层变化表示作为值V，先将查询Q的1*1卷积结果和每个键K的1*1卷积结果通过相似度计算得到权重并对所有权重进行归一化从而转换为注意力权重，然后将归一化后的注意力权重和值V的1*1卷积结果进行加权求和，增强低层变化表示的特征表达能力，得到增强后的变化表示；最终将该增强后的变化表示与原始输入的浅层变化表示...

【专利技术属性】
技术研发人员：冯天，张微，杨佳威，马笑文，车瑞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：