基于CNN和Transformer的多层级融合建筑物变化检测方法技术

一种基于CNN和Transformer的多层级融合建筑物变化检测方法，包括以下步骤：步骤1：对两期遥感影像进行预处理；步骤2：将三组通道提取的各层级特征输入到一种改进的时空注意力交叉增强模块；步骤3：将步骤2得到的增强后两通道多层级特征输入到一种改进的通道交互多层级融合模块；步骤4：利用Soble算子提取建筑物的边界；步骤5：将步骤3得到的融合特征依次输入到多层感知机MLP和基于数据相关的上采样模块，通过反向传播进行模型训练；最后使用训练好的模型进行变化检测。能够更有效的集成CNN和Transformer的优势，更有效的提取两期影像的特征，得到更优的变化检测结果。得到更优的变化检测结果。得到更优的变化检测结果。

【技术实现步骤摘要】
基于CNN和Transformer的多层级融合建筑物变化检测方法


[0001]本专利技术涉及遥感监测
，具体涉及一种基于CNN和Transformer的多层级融合建筑物变化检测方法。

技术介绍

[0002]建筑物遥感变化检测是通过分析同一地理位置不同时刻获取的遥感影像提取建筑物变化信息的过程，对城市管理规划、地籍测量、地图更新以及合理利用土地资源具有重要意义。随着深度学习理论技术的快速发展，基于深度学习的建筑物变化检测已成为遥感领域的一个重要研究方向。
[0003]卷积神经网络(Convolutional neural network，CNN)是最常用的深度学习模型之一，被广泛应用于自然语言处理、影像分类、目标检测和语义分割等众多领域。CNN具有强大的特征表征能力，能够从影像中提取丰富的和抽象的局部上下文信息，已成为遥感变化检测的主流网络。然而CNN网络采用局部连接机制，导致感受野大小受限，不能很好地挖掘影像的全局依赖关系。
[0004]近年来，Transformer模型在深度学习领域兴起。Transformer采用多头全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于CNN和Transformer的多层级融合建筑物变化检测方法，其特征是，步骤为：Step1、对两期遥感影像进行预处理，然后通过三个通道提取两期影像的多层级特征：通道1将两期影像级联，通过残差CNN网络提取级联后影像的多层级特征；通道2将两期影像进行差值运算，通过残差CNN网络提取差值影像的多层级特征；通道3将两期影像级联，通过Transformer网络提取级联后影像的多层级特征；Step2、将三组通道提取的各层级特征输入到时空注意力交叉增强模块，利用通道2输出的时空差异特征对通道1和3的特征进行时空注意力交叉增强，并输出增强后的通道1和3的多层级特征；Step3、将Step2得到的增强后两通道多层级特征输入到通道交互多层级融合模块，对两通道的特征分别进行通道优先和层级优先两种多层级融合操作；Step4、利用Soble算子提取建筑物的边界，并通过高斯模糊运算扩展所提取的建筑物边界区域；Step5、首先将Step3得到的融合特征依次输入到多层感知机MLP和基于数据相关的上采样模块，并通过SoftMax层求解变化概率图；然后基于变化概率图、变化参考图和Step4得到的边界区域，使用边界加权交叉熵损失函数计算损失，通过反向传播进行模型训练；最后使用训练好的模型进行变化检测。2.根据权利要求1所述的基于CNN和Transformer的多层级融合建筑物变化检测方法，其特征在于，所述的Step1的具体过程为：Step1.1、对预处理后的两期遥感影像X1和X2进行级联操作和差值运算，分别得到级联影像CI和差值影像DI：CI＝Concat(X1,X2) (1)DI＝X1‑
X
2 (2)其中Concat表示级联操作；Step1.2、通道1将级联影像CI输入到残差CNN网络ResNet50，得到四个层级的特征F
c
＝{c
i
|i＝1,2,3,4}；通道2将差值影像DI输入到残差CNN网络ResNet18，得到四个层级的特征F
d
＝{d
i
|i＝1,2,3,4}；通道3将级联影像CI输入到Swin Transformer网络，得到四个层级的特征F
t
＝{t
i
|i＝1,2,3,4}。3.根据权利要求2所述的基于CNN和Transformer的多层级融合建筑物变化检测方法，其特征在于，所述的Step2具体步骤如下：时空注意力交叉增强模块包含两个子模块：时空注意力图生成模块(Temporal
‑
spatial attention
‑
map module，TSAM)和交叉增强模块(Cross enhancement module,CEM)；Step2.1、将Step1.2中通道2提取的多层级特征F
d
＝{d
i
|i＝1,2,3,4}输入到TSAM模块，生成多层级注意力图S＝{s
i
|i＝1,2,3,4}，其中第i个层级的注意力图s
i
基于层级特征d
i
生成，具体过程如下：对F
d
中第i个层级尺寸为C
i
×
H
i
×
W
i
的特征d
i
进行平均和最大双池化操作，分别得到两个1
×
H
i
×
W
i
的特征图；然后将其级联，并将级联特征通过7
×
7卷积和Sigmoid函数生成注意力图s
i
(1
×
H
i
×
W
i
)；生成s
i
的公式如下：s
i
＝σ(Conv(Concat(AvgPool(d
i
),MaxPool(d
i
))))(i＝1,2,3,4)
ꢀꢀꢀꢀꢀꢀ
(3)
式中，σ表示Sigmoid函数，Conv表示卷积操作，Concat表示通道级联操作，AvgPool和MaxPool分别表示平均池化和最大池化操作；Step2.2、将Step1.2中通道1提取的多层级特征F
c
和Step2.1生成的多层级注意力图S输入到交叉增强模块CEM中，利用注意力图S对特征F
c
进行加权增强，得到增强的多层级特征F
c
′
＝{c
i
′
|i＝1,2,3,4}；交叉增强在相同层级之间进行，对于F
c
中第i个层级特征c
i
(C
i
×
H
i
×
W
i
)，通过第i个层级注意力图s
i
进行增强；Step2.3、将Step1.2中通道3提取的多层级特征F
t
与和Step2.1生成的多层级注意力图S输入到交叉增强模块CEM中，利用注意力图...

【专利技术属性】
技术研发人员：邵攀，石卫超，
申请(专利权)人：三峡大学，
类型：发明
国别省市：