一种基于改进Transformer孪生网络的遥感图像变化检测方法技术

本发明专利技术公开了一种基于改进Transformer孪生网络的遥感图像变化检测方法。包括：对两时期的遥感图像进行直方图匹配预处理；将遥感图像输入CNN主干网络提取高级语义特征；利用空间注意力机制将两个不同时期特征图转为一组紧凑的语义标签；使用Transformer编码器在两个标签集中对全局信息进行建模；生成含有丰富全局信息的标签，由孪生Transformer解码器重新投影到像素空间，增强原始像素级特征；从两个细化的特征图中计算特征差异图像，然后输入浅层CNN中，生成像素级别的预测变化图；最后对预测变化图进行连通域滤波处理得到变化结果图。本方法能应对两时期图像色彩风格差异较大的情况，并能有效去除伪变化噪声点，达到高准确率识别的目的。确率识别的目的。确率识别的目的。

【技术实现步骤摘要】
一种基于改进Transformer孪生网络的遥感图像变化检测方法


[0001]本专利技术涉及遥感图像处理与人工智能
，具体为一种基于改进Transformer孪生网络的遥感图像变化检测方法。

技术介绍

[0002]随着人工智能技术的兴起，特别是基于深度学习的图像识别方法获得了极大的发展，相关技术也推动了遥感领域的变革。CNN是近年来计算机视觉领域使用较多的网络结构，其具有很好地局部特征捕捉能力，但由于感受野较小，在全局上会丢失掉较多的信息。相对于CNN而言，Transformer网络是从自然语言处理领域移植到计算机视觉领域中的一项技术，得益于其自注意力机制，网络结构能够汇聚空间层面上的信息，最终获得更加丰富的语义信息，能够更好地保留全局信息。所以，将二者结合起来，能够达到捕捉局部特征的同时保留全局信息的目的。
[0003]传统的VIT中，网络实质上是用一个分类的token去学习整合transformer的特征的，然后依靠token进行分类预测的。本专利技术提出可以用少量的语义标签(semantic tokens)去学习整合两张图片本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Transformer孪生网络的遥感图像变化检测方法，其特征在于：所述方法包括以下步骤：步骤1：图像预处理，判断两幅不同时期的遥感图像I1、I2的巴氏系数是否小于阈值(取0.7)，如果小于阈值则进行步骤2，否则直接进行步骤3；步骤2：对图像进行直方图匹配处理，得到两幅处理过后图像，记作步骤3：将I1、I2(或)输入预训练好的CNN主干网络进行并行特征提取得到X1、X2；步骤4：将X1、X2输入语义标记器，将X1、X2转换为一组紧凑的语义标签T1、T2；步骤5：拼接语义标签T1、T2，组成含有两幅图像信息的新标签T；步骤6：将T输入到Transformer编码器中，生成编码后的标签T
new
；步骤7：对两个语义标签集T1和T2进行全局信息建模，生成包含丰富语义信息的新标签步骤8：将高级语义信息表示映射到像素空间，获得像素级的特征，即将输入到Transformer解码器中，得到精细化的特征图步骤9：将特征图输入预测头中，从两个精细化的特征图中计算特征差异图像，然后将它们输入到浅层CNN中，以生成像素级的变化预测M；步骤10：对预测变化图M进行连通域滤波处理，得到最终结果图M
result
。2.根据权利要求1所述的一种基于改进Transformer孪生网络的遥感图像变化检测方法，其特征在于：步骤1、2中对图像进行预处理，若两时期图像巴氏系数小于阈值0.7则用第二时期图像作为标准直方图，然后对第一时期图像进行直方图匹配处理，使得两时期图像色彩风格一致，减少因天气、季节变化等外界因素导致色彩风格差异大对模型预测精度的影响。3.根据权利要求1所述的一种基于改进Transformer孪生网络的遥感图像变化检测方法，其特征在于：步骤3中CNN主干网络提取特征的具体步骤为：步骤3
‑
1：将I1、I2通过两个卷积核大小为3x3，步长为2的卷积层，下采样4倍，初步提取特征；步骤3
‑
2：将卷积后的结果通过批归一化层和ReLU激活层让网络具有非线性表达能力；步骤3
‑
3：将上述输出通过4组Transition和Stage结构，不断增加尺度分支并进行特征融合，得到X1、X2。4.根据权利要求1所述的一种基于改进Transformer孪生网络的遥感图像变化检测方法，其特征在于：步骤4的语义标记器由卷积、注意力机制构成；具体的：步骤4
‑
1：对于特征图X
i
(i＝1，2)上的每一个像素点用1x1卷积得到L组语义信息，每组语义信息代表一种语义概念；步骤4
‑
2：在HW维度上用soft...

【专利技术属性】
技术研发人员：曹凌铭，
申请(专利权)人：河海大学，
类型：发明
国别省市：