一种基于光谱Transformer网络的高光谱影像变化检测方法技术

本发明专利技术涉及了一种基于光谱Transformer网络的高光谱影像变化检测方法。其步骤为：1.数据分割；2.划分训练集测试集进行深度特征提取；3.测试集进行深度特征提取；4.差分特征与点乘特征提取；5.生成差分流，特征流和级联流变化检测结果图；6.生成最终的变化检测结果图；7.光谱Transformer网络优化；8.统计实验结果，计算高光谱变化检测的精度。与现有方法相比，光谱Transformer网络在提取深度特征时，在光谱维度利用Transformer机制有效挖掘了高光谱影像的光谱依赖性；并且从差分流和点乘流两个角度进一步探索提取深度特征的相关性，使提取的深度特征更具判别性；最后，加权融合差分流、乘法流及其相应的串联流的变化检测结果图，充分利用学到的特征信息，提高了高光谱影像变化检测的精度。像变化检测的精度。像变化检测的精度。

【技术实现步骤摘要】
一种基于光谱Transformer网络的高光谱影像变化检测方法


[0001]本专利技术属于遥感信息处理
，具体涉及高光谱影像的变化检测，旨在通过双时相高光谱影像检测同一地点的地物在不同时间的变化，可以应用于城市管理、自然灾害监测、森林监控等领域。

技术介绍

[0002]高光谱影像变化检测旨在通过双时相高光谱影像检测同一地点的地物的变化，然后从定量和定性的角度对变化区域进行分析。高光谱影像具有数百甚至数千的光谱波段，其包含丰富的光谱和细节信息，可用于检测或识别目标。因此，高光谱影像的变化检测逐渐成为变化检测领域的一个热门研究领域。
[0003]高光谱影像变化检测方法大致可分为传统的变化检测方法和基于深度学习的方法。传统的变化检测方法主要包括基于代数的方法如图像差分、图像比值；基于变换的方法如变化向量分析(CVA)、主成分分析(PCA)；基于分类的方法以及其他方法马尔可夫模型、模糊聚类等。大多数传统的变化检测方法依赖于人工特征或浅层特征，不能很好地表达地物的特征，导致了变化检测的精度不高。
[0004]深度学习技术由于能够提取抽象的、层次化和高层次的语义特征，在计算机视觉领域得到了广泛的应用。因此，深度学习技术已经被应用到遥感变化检测任务中。许多深度学习结构被用来处理高光谱影像，如特征金字塔网络、Siamese网络、Unet网络等。然而，这些变化检测方法并没有关注变化区域特征的提取，变化区域特征的有效性对提高检测性能更为重要。基于注意力机制的变化检测方法可以关注感兴趣的变化区域，并通过生成的空间或通道注意力图提取更具代表性的特征。长距离的依赖性已经被证明可以提高检测性能。基于Transformer的变化检测方法通过关注空间长距离的依赖关系，捕捉影像的空间结构关系，提取具有判别性的特征。
[0005]尽管上述基于Transformer的变化检测方法已经取得了不错的检测，但是这些方法大多只引入了Transformer机制来从空间维度挖掘空间信息的位置依赖性，并没有采用Transformer机制来从光谱维度挖掘光谱信息的光谱依赖性，忽略了光谱依赖性对变化检测任务的积极作用。然而，由于高光谱影像中存在大量的光谱波段，高光谱影像的光谱信息对于检测变化更为重要。此外，大多数基于深度学习的变化检测方法只采用差分特征来表达提取的深度特征之间的相关性，并没有从其他角度探索双时高光谱影像之间的相关性，存在特性相关性表达不够全面的问题。

技术实现思路

[0006]本专利技术针对上述现有技术的不足，提出基于光谱Transformer网络的高光谱影像变化检测方法。基于光谱Transformer网络的高光谱影像变化检测网络包括特征提取模块、基于Transformer的相关性表达模块和检测模块。特征提取模块使用Unet提取双时相高光谱影像的深度特征，并在跳层连接中融合Transformer编码器以融合光谱信息。基于
Transformer的相关性表达模块对已提取深度特征，从差分流和点乘流的两个角度探索其相关性。差分流和点乘流都采用了Transformer编码器来融合各波段的光谱信息，以获得光谱特征的相关性。最后，对基于差分流的变化检测结果图、基于点乘流的变化检测结果图和基于级联流的变化检测结果图进行加权融合操作，生成最终变化检测结果图，充分利用学到的特征，从而提高变化检测的准确性和稳健性。
[0007]所述方法包括以下步骤：一种基于光谱Transformer网络的高光谱影像变化检测方法，所述方法包括以下步骤：
[0008]步骤一：数据分割；
[0009]步骤二：划分训练集和测试集；
[0010]步骤三：深度特征提取，将训练集的影像块对输入到UnetTrans特征提取模块，UnetTrans特征提取模块由两个组件组成：Unet和Transformer编码器，其中Unet由编码器、解码器和跳层连接组成，它通过连续的上采样和下采样，获得更具代表性的特征，其特性更能表现出抽象和全局信息。对于输入的双时相高光谱影像块对，T1时刻的影像块记为T2时刻的影像块记为C为高光谱影像的波段数，T1经过Unet可得到深度特征T2经过Unet可得到深度特征Transformer编码器由L个相同的子编码器串联组成，每个子编码器都由多头自注意力机制(MSA)和多层感知机(MLP)组成，对于输入特征1≤k≤L，H为特征Z
k
‑1的高度，W为特征Z
k
‑1的宽度，C为高光谱影像波段数，经过MSA后可得到Z'
k
经过MLP可获得输出最终通过经过L个子编码器后的最终输出为
[0011]步骤四：差分特征与点乘特征提取，对从UnetTrans特征提取模块中提取的特征图F
T1
和F
T2
进行逐个像素的减法和乘法运算，获得差异特征和点乘特征。然后，将差值特征送入Transformer编码器得到特征将点乘特征送入Transformer编码器得到特征挖掘光谱维度上的有效信息；
[0012]步骤五：生成差分流，特征流和级联流变化检测结果图；
[0013]步骤六：生成最终的变化检测结果图；
[0014]步骤七：光谱Transformer网络优化；
[0015]步骤八：测试过程。获取优化后模型，对测试样本进行检测。
[0016]进一步的步骤一：数据分割包括将高光谱影像数据逐像素通过7
×
7滑动窗口切分数据集，T1时刻影像切分生成一系列影像块P
1,i
，其中i＝1,...,N，T2时刻影像切分生成一系列影像块P
2,i
，其中i＝1,...,N。
[0017]进一步的每个影像块高用H表示，宽用W表示，其中H值为7，W值为7。
[0018]进一步的所述步骤三：每个子编码器操作可表示为：
[0019]Z
′
k
＝MSA(LN(z
k
‑1))+z
k
‑1ꢀꢀ
(1)
[0020]Z
k
＝MLP(LN(z
′
k
))+z
′
k
ꢀꢀ
(2)
[0021]其中，LN表示LayerNorm，MSA表示多头自注意力机制，MLP表示多层感知机，自注意
力机制(self
‑
attention)的计算公式如下：
[0022][0023]其中，表示Query、表示Key、表示Value。Q，K，V都是从输入中获得的可学习参数，d是信道维度。σ表示激活函数，然后，MSA可表示为：
[0024]MSA(Q,K,V)＝Concat(head1,...,head
h
)W
O
ꢀꢀ
(4)
[0025][0026]其中，是线性投影矩阵，表示Query、表示Key、表示Value，Q，K，V都是从输入中获得的可学习参数，Concat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光谱Transformer网络的高光谱影像变化检测方法，所述方法包括以下步骤：步骤一：数据分割；步骤二：划分训练集和测试集；步骤三：深度特征提取，将训练集的影像块对输入到UnetTrans特征提取模块，UnetTrans特征提取模块由两个组件组成：Unet和Transformer编码器，其中Unet由编码器、解码器和跳层连接组成，它通过连续的上采样和下采样，获得更具代表性的特征，其特性更能表现出抽象和全局信息，对于输入的双时相高光谱影像块对，T1时刻的影像块记为T2时刻的影像块记为时刻的影像块记为C为高光谱影像的波段数，T1经过Unet可得到深度特征T2经过Unet可得到深度特征Transformer编码器由L个相同的子编码器串联组成，每个子编码器都由多头自注意力机制(MSA)和多层感知机(MLP)组成，对于输入特征1≤k≤L，H为特征Z
k
‑1的高度，W为特征Z
k
‑1的宽度，C为高光谱影像波段数，经过MSA后可得到的宽度，C为高光谱影像波段数，经过MSA后可得到Z'
k
经过MLP可获得输出1≤k≤L，最终通过经过L个子编码器后的最终输出为步骤四：差分特征与点乘特征提取，对从UnetTrans特征提取模块中提取的特征图F
T1
和F
T2
进行逐个像素的减法和乘法运算，获得差异特征和点乘特征；然后，将差值特征送入Transformer编码器得到特征将点乘特征送入Transformer编码器得到特征挖掘光谱维度上的有效信息；步骤五：生成差分流，特征流和级联流变化检测结果图；步骤六：生成最终的变化检测结果图；步骤七：光谱Transformer网络优化；步骤八：测试过程，获取优化后模型，对测试样本进行检测。2.根据权利要求1所述的一种基于光谱Transformer网络的高光谱影像变化检测方法，其特征在于所述步骤一：数据分割包括将高光谱影像数据逐像素通过7
×
7滑动窗口切分数据集，T1时刻影像切分生成一系列影像块P
1,i
，其中i＝1,...,N，T2时刻影像切分生成一系列影像块P
2,i
，其中i＝1,...,N。3.根据权利要求2所述的一种基于光谱Transformer网络的高光谱影像变化检测方法，其特征在于每个影像块高用H表示，宽用W表示，其中H值为7，W值为7。4.根据权利要求1所述的一种基于光谱Transformer网络的高光谱影像变化检测方法，其特征在于所述步骤三：每个子编码器操作可表示为：Z
′
k
＝MSA(LN(z
k
‑1))+z
k
‑1ꢀꢀꢀꢀꢀ
(1)Z
k
＝MLP(LN(z
′
k
))+z
′
k
ꢀꢀꢀꢀꢀ
(2)其中，LN表示LayerNorm，MSA表示多头自注意力机制，MLP表示多层感知机，自注意力机制(self
‑
attention)的计算公式如下：
其中，表示Query、表示Key、表示Value，Q，K，V都是从输入中获得的可学习参数，d是信道维度，σ表示激活函数，然后，MSA可表示为：MSA(Q,K,V)＝Concat(head1,...,head
h
)W
O
ꢀꢀꢀꢀ
(4)其中，是线性投影矩阵，表示Query、表示...

【专利技术属性】
技术研发人员：张无瑕，郭会博，张宇航，苏亮旭，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：