基于双孪生分支的遥感图像变化检测网络及检测方法技术

本发明专利技术公开了一种基于双孪生分支的遥感图像变化检测网络及检测方法，主要解决现有技术在多种分辨率遥感图像中检测能力不足的问题，该检测网络由孪生局部信息编码分支、孪生全局信息编码分支、差异增强模块、特征融合模块和分类器组成，孪生局部和全局信息编码分支提取多层次双时局部细粒度和全局上下文特征；差异增强模块生成并增强差异特征；特征融合模块融合局部、全局和跨层次的信息并挖掘通道线索；分类器对最终融合特征进行分类并生成变化预测图。本发明专利技术通过双孪生分支提取多层次双时局部和全局特征增强了网络的泛化能力；通过差异增强模块和特征融合模块提高了网络的检测精度，可用于土地覆盖识别、城市扩张估计和农业发展监测。业发展监测。业发展监测。

【技术实现步骤摘要】
基于双孪生分支的遥感图像变化检测网络及检测方法


[0001]本专利技术属于图像处理
，特别涉及一种遥感图像变化检测技术，可用于土地覆盖识别、城市扩张估计、灾害评估和林业农业监测。

技术介绍

[0002]遥感图像变化检测是遥感图像处理中的重要内容之一，其目的是检测同一地区不同时间拍摄的两幅遥感图像之间感兴趣的变化。变化检测技术可以用于各种遥感应用，包括土地覆盖识别、城市扩张估计、灾害评估和林业农业监测等。随着航空航天传感器的高速发展，遥感图像的可获取性越来越高，其在推进变化检测领域发展的同时也带来了一些严峻的挑战。首先，由于环境条件不同，不可避免的非相关变化会对感兴趣的变化检测结果产生负面干扰。这些非相关变化通常是指在特定应用场景下其余不感兴趣的变化和由于成像条件和季节条件等导致的伪变化。其次，传感器的类型是多样的，导致生成的遥感图像的分辨率也是多样的，对变化检测技术的泛化能力提出了更高的要求。换句话说，现有变化检测模型很难在具有各种尺度的不同遥感图像中表现良好。因此开发用于遥感图像的变化检测技术是必要且紧迫的。
[0003]随着当前深度学习的快速发展，基于深度学习的方法已经主导了变化检测领域。卷积神经网络CNN凭借其强大的特征学习能力和非线性拟合能力，在变化检测领域中有着不错的表现。随后，研究者们发现单纯的CNN不足以建模上下文关系并强调重要区域。因此，大部分研究通过堆叠更多卷积层和嵌入视觉注意力机制等方法来增强基于CNN的变化检测技术。但是这类方法仍然不擅长对隐藏在遥感图像中全局长程上下文依赖关系进行建模，因此最近的变化检测技术中引入了基于自注意力机制的变换器，其英文为Transformer，来增强遥感图像中全局长程上下文依赖关系的能力。Transformer善于提取全局信息，在变化检测领域有着巨大的潜力。但是，基于Transformer的技术仍有改进的空间。首先，Transformer对于局部细粒度信息的关注能力不如CNN，这会对精细目标的检测结果产生负面影响。另外，大多数基于Transformer的模型都是基于严格的网格将输入的遥感图像划分为规则的子块patch，这些规则的patch会扰乱复杂地理环境的连续性和变化对象的几何形状。这与变化检测的目标背道而驰。基于以上讨论，CNN与Transformer实际上是两个互补的方法。
[0004]陈浩等人在电气电子工程师学会IEEE，2021,60:1
‑
14中提出了一种基于Transformer的遥感图像变化检测方法。其首先通过基于残差网络的CNN骨干分别提取两个时相的特征，然后将两个时相的特征转换为语义标记后输入到Transformer编码器中用于建模特征中的长程上下文依赖关系。该方法虽然结合了CNN与Transformer的优势并获得了良好的检测性能，但模型中忽略了多尺度的信息，这无疑会限制其在不同尺度遥感图像中的性能。
[0005]郑建炜等人在IEEE，2022，60：1
‑
13中提出了一种基于CNN和Transformer的遥感图像变化检测方法。该方法通过CNN和Transformer提取分层局部和全局信息之后通过尺度内
交叉交互和尺度间特征融合两种策略来获得同时拥有局部细粒度信息和全局长程上下文依赖关系的特征。并通过三层不同分支的融合策略获取变化预测图。该方法虽然取得了不错的检测性能，但由于其生成变化预测图时仅采用做差的方式，这种方式对于差异信息的学习能力不足，导致其检测性能仍有进一步提高的空间。

技术实现思路

[0006]本专利技术的目的在于针对上述现有技术的不足，提出基于双孪生分支的遥感图像变化检测网络及检测方法，以提取并集成具有全局信息和局部信息的多尺度特征，提高检测精度，增强泛化能力。
[0007]实现本专利技术目的的技术思路是：通过可变形思想，差异增强和特征融合，提高检测精度；通过孪生CNN和Transformer分支的并行集成及编码器解码器之间的跳跃连接，增强泛化能力。
[0008]根据上述技术思路，本专利技术技术方案包括如下：
[0009]1.一种基于双孪生分支的遥感图像变化检测网络，其特征在于，包括：
[0010]孪生局部信息编码分支，包括若干个下采样层、若干个标准残差块和若干个可变形卷积单元，用于提取多层次双时相局部细粒度特征
[0011]孪生全局信息编码分支，包括若干个下采样层、若干个滑动窗口Transformer块和可变形Transformer块，用于提取多层次双时相全局上下文特征
[0012]差异增强模块，其包括减法单元、拼接单元和卷积单元，用于对孪生局部信息编码分支提取的同层次双时局部细粒度特征进行差异信息的增强并生成局部差异特征对孪生全局信息编码分支提取的同层次双时全局上下文特征进行差异信息的增强并生成全局差异特征
[0013]特征融合模块，其包括加法单元、通道注意力单元、乘法单元、卷积单元和拼接单元，用于逐级融合多层次特征，生成最终融合特征；
[0014]分类器，其由第一3
×
3卷积层、批次归一化层、ReLU激活函数层、第二3
×
3卷积层、softmax函数和argmax函数依次级联组成，用于对最终融合特征分类并生成二值变化预测图，其中0表示不变像素，1表示变化像素。
[0015]进一步，所述孪生局部信息编码分支，包含两个权重共享的局部特征提取器：
[0016]每个局部特征提取器包含顺次连接的一个下采样层、四个标准残差块和四个可变形卷积单元，其中四个标准残差块和四个可变形卷积单元将局部特征提取器分为四个层次；
[0017]每个下采样层，包含顺次连接的7
×
7卷积层、批次归一化层、ReLU激活函数层和最大池化层，用于降低输入图像的空间维度，其中7
×
7卷积层和最大池化层的步长均为2；
[0018]每个标准残差块，包括两个顺次连接的基本残差单元，每个残差单元包括两个3
×
3卷积层、两个批次归一化层和两个ReLU激活函数层；
[0019]每个可变形卷积单元，包括1个3
×
3卷积层、1个3
×
3可变形卷积层，1个批次归一化层和1个ReLU激活函数层。
[0020]进一步，所述孪生全局信息编码分支，包含两个权重共享的全局特征提取器：
[0021]每个全局特征提取器包含顺次连接的四个下采样层、两个滑动窗口Transformer块和四个每个可变形Transformer块，其中四个下采样层将全局特征提取器分为四个层次；
[0022]每个滑动窗口Transformer块，包括顺次连接的1个窗口注意力单元和1个滑动窗口注意力单元，用于提取浅层全局上下文特征；
[0023]每个可变形Transformer块，包括顺次连接的1个局部注意力单元和1个可变形全局注意力单元，用于提取深层全局上下文特征。
[0024]2.一种利用上述网络进行遥感图像变化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双孪生分支的遥感图像变化检测网络，其特征在于，包括：孪生局部信息编码分支(1)，包括若干个下采样层(11)、若干个标准残差块(12)和若干个可变形卷积单元(13)，用于提取多层次双时相局部细粒度特征孪生全局信息编码分支(2)，包括若干个下采样层(21)、若干个滑动窗口Transformer块(22)和可变形Transformer块(23)，用于提取多层次双时相全局上下文特征差异增强模块(3)，其包括减法单元(31)、拼接单元(32)和卷积单元(33)，用于对孪生局部信息编码分支(1)提取的同层次双时相局部细粒度特征进行差异信息的增强并生成局部差异增强特征对孪生全局信息编码分支(2)提取的同层次双时相全局上下文特征进行差异信息的增强并生成全局差异增强特征特征融合模块(4)，其包括加法单元(41)、通道注意力单元(42)、乘法单元(43)、卷积单元(44)和拼接单元(45)，用于逐级融合多层次特征，生成最终融合特征；分类器(5)，其由第一3
×
3卷积层、批次归一化层、ReLU激活函数层、第二3
×
3卷积层、softmax函数和argmax函数依次级联组成，用于对最终融合特征分类并生成二值变化预测图，其中0表示不变像素，1表示变化像素。2.根据权利要求1所述的网络，其特征在于，所述孪生局部信息编码分支(1)，包含两个权重共享的局部特征提取器：每个局部特征提取器包含顺次连接的一个下采样层(11)、四个标准残差块(12)和四个可变形卷积单元(13)，其中四个标准残差块(12)和四个可变形卷积单元(13)将局部特征提取器分为四个层次；所述每个下采样层(11)，包含顺次连接的7
×
7卷积层、批次归一化层、ReLU激活函数层和最大池化层，用于降低输入图像的空间维度，其中7
×
7卷积层和最大池化层的步长均为2；所述每个标准残差块(12)，包括两个顺次连接的基本残差单元，每个残差单元包括两个3
×
3卷积层、两个批次归一化层和两个ReLU激活函数层；所述每个可变形卷积单元(13)，包括1个3
×
3卷积层、1个3
×
3可变形卷积层，1个批次归一化层和1个ReLU激活函数层。3.根据权利要求1所述的网络，其特征在于，所述孪生全局信息编码分支(2),包含两个权重共享的全局特征提取器：每个全局特征提取器包含顺次连接的四个下采样层(21)、两个滑动窗口Transformer块(22)和四个每个可变形Transformer块(23)，其中四个下采样层将全局特征提取器分为四个层次；所述每个滑动窗口Transformer块(22)，包括顺次连接的1个窗口注意力单元(221)和1个滑动窗口注意力单元(222)，用于提取浅层全局上下文特征，；所述每个可变形Transformer块(23)，包括顺次连接的1个局部注意力单元(231)和1个可变形全局注意力单元(232)，用于提取深层全局上下文特征。4.根据权利要求3中所述的网络，其特征在于：
所述窗口注意力单元(221)，包括残差形式连接的2个层归一化层、1个窗口多头注意力层和1个多层感知机，用于将原始特征图划分为若干个窗口，使多头注意力计算限制在每个小窗口中，以减少计算消耗；所述滑动窗口注意力单元(222)，包括残差形式连接的2个层归一化层、1个滑动窗口多头注意力层和1个多层感知机，用于分析不同窗口之间的联系，提取全局特征；所述局部注意力单元(231)，包括残差形式连接的2个层归一化层、1个窗口多头注意力层和1个多层感知机，用于将原始特征图划分为若干个局部窗口，使多头注意力计算限制在每个小块中以减少计算消耗；所述可变形全局注意力单元(232)，包括残差形式连接的2个层归一化层、1个可变形多头注意力层和1个多层感知机，用于计算全局注意力，提取全局特征。5.根据权利要求1所述的网络，其特征在于：所述减法单元(31)，用于对双孪生分支提取的双时特征作差并取绝对值，以生成差异特征，传输给拼接单元(32)；所述拼接单元(32)，用于对差异特征和双时特征通道维度进行拼接，以增强差异信息，生成拼接特征，传输给卷积单元(33)；所述卷积单元(33)，其由1
×
1卷积层组成，用于降低拼接特征通道维度，以获得差异增强特征。6.根据权利要求1所述的网络，其特征在于：所述加法单元(41)，用于整合差异增强后的双孪生分支局部差异特征和全局差异特征传输给通道注意力单元(42)；所述注意力单元(42)，其由1个平均池化层和1个最大池化层并联后与1个多层感知机层和1个sigmoid激活函数层级联组成，用于生成通道注意权重S
i
，传输给乘法单元(43)；所述乘法单元(43)，用于对差异增强后的局部差异特征和全局差异特征分别与通道注意权重S
i
相乘，以获得通道加权特征，传输给拼接单元(45)；所述卷积单元(44)，其由1
×
1卷积层组成，用于对上一层次融合后特征进行降维，降维后特征传输给拼接单元(45)；所述拼接单元(45)，用于对同层次的加权后局部差异增强特征和全局差异增强特征和上一层次融合后特征H

【专利技术属性】
技术研发人员：马晶晶，张天祥，唐旭，张向荣，焦李成，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：