基于多级Transformer网络的6G卫星图像滑坡检测方法技术

本发明专利技术提出一种基于多级Transformer网络的卫星滑坡图像检测方法，属于图像异常检测领域。针对现有的仅利用卷积神经网络进行图像特征提取和特征重构来进行滑坡检测，本发明专利技术采用预训练特征提取网络和无监督多级Transformer自动编码器进行滑坡检测。首先从预训练网络中提取多尺度特征，然后使用具有U形的自编码Transformer网络重构图像特征，通过多级Transformer编码器和解码器对特征的融合和重构，可以同时获取粗粒度的低级像素特征和细粒度的全局语义特征。将所提出的方法应用于卫星捕获的毕节滑坡数据集，实验结果表明，与原始CNN模型相比，本发明专利技术可以提高检测精度，有效区分滑坡和非滑坡图像数据。分滑坡和非滑坡图像数据。分滑坡和非滑坡图像数据。

【技术实现步骤摘要】
基于多级Transformer网络的6G卫星图像滑坡检测方法

：
[0001]本专利技术涉及无监督异常检测的技术，尤其涉及一种基于多级Transformer网络结构的卫星图像异常检测方法。

技术介绍
：
[0002]滑坡是一种常见的地质灾害，会给自然环境、公共基础设施和人类生活带来不可预测的破坏。近年来，随着6G卫星通信网络和遥感技术的发展，人们可以将高分辨率卫星图像应用于灾害管理、滑坡检测和识别。滑坡图像中存在多种滑坡特征，如何综合利用这些特征进行准确有效的滑坡检测，对于降低经济风险、保护人类生命具有极其重要的意义。
[0003]传统的滑坡检测方法通常使用图像纹理和颜色等统计特征来检测滑坡。此外，一些机器学习方法，如支持向量机、随机森林和遗传算法，结合了统计方法进行滑坡检测。但是，机器学习方法没有很好的特征提取能力，不能自动检测。
[0004]深度学习模型具有强大的表示学习能力，可以自动提取特征并将其应用于滑坡检测。具体来说，卷积神经网络在各种基于图像的任务中已经超越了传统的统计特征提取和机器学习方法。使用Convolutional Neural Networks(CNN)进行滑坡检测的结果表明基于CNN的深度学习方法可以获得更好的结果。然而，CNN侧重于提取局部图像特征，很难学习图像的全局上下文特征。因此，通过加入注意力机制对基于CNN的方法进行改进，以促使CNN提取到更多独特的滑坡特征表示，方便进一步的下游检测任务。近年来，Vision Transformer(VIT)证明了用于自然语言处理的Transformer框架可以以优异的性能转移到图像识别和检测任务中。与CNN相比，ViT可以通过补丁级图像和全局注意力机制来学习图像上下文特征。
[0005]为了捕获图像的局部和全局信息，我们专注于在多个级别上组合Transformer，以更好地检测和识别图像。因此，提出了一种用于滑坡检测的无监督深度学习模型。该模型主要包含一个特征提取网络和一个多级Transformer自编码器框架。首先，我们从预训练网络中提取特征；然后可以使用多级Transformer网络重建图像特征。通过多级Transformer的特征重建，不仅可以提取细粒度的像素级特征，还可以提取粗粒度的上下文语义特征。最后，我们融合卫星图像的两种特征用于滑坡检测任务。

技术实现思路
：
[0006]为了解决6G卫星拍摄图像的滑坡检测问题，帮助人类更准确和迅速的识别滑坡信息。本专利技术公开了一种基于多级Transformer网络的卫星滑坡图像检测方法。
[0007](一)技术方案
[0008]用于6G卫星滑坡检测图像的整体框架是一个无监督的多级变压器编码器
‑
解码器网络，包含一个预训练的CNN网络和一个具有Transformer结构的多级自动编码器。首先，引入预训练网络ResNet
‑
18来从卫星图像中提取潜在特征；接下来使用多级Transformer自编码器网络重构图像数据特征；最后，通过将计算的重构误差作为异常评分来判断是否为滑
坡图像。
[0009]其包括以下具体步骤：
[0010]1.数据预处理
[0011]如图1的方法流程图所示，方法的第一步是输入数据并进行数据预处理。数据预处理的过程主要是对原始数据进行划分和数据变换和增强。在数据集划分中，针对无监督任务，仅使用非滑坡图像作为训练数据，而在测试阶段同时使用滑坡和非滑坡图像作为将整个数据集按7:3划分为训练集和测试集。数据变换和数据增强可以规范数据输入网络的方式，同时有利于网络学习更加有区分性的特征信息，增强网络的鲁棒性和学习能力。
[0012]步骤1_1将数据集划分为训练集和测试集的数据文件。
[0013]和的定义如下所述：
[0014]x
i
∈X
train
[0015]x
j
∈X
test
,y
j
∈Y
test
[0016]x
i
代表训练集中第i个样本数据，n
train
代表训练集数据的个数，X
train
代表所有训练数据的集合；x
j
代表测试集中第i个样本数据，y
j
代表其对应的标签值，n
test
代表测试集数据的个数，X
test
代表所有测试数据的集合，Y
test
代表所有测试数据标签的集合。可以看出训练数据是没有标签的，因为本专利技术为了更贴合现实中数据无标签的情况，因此采用不带标签的无监督方式进行训练。而在测试中来判断是否为滑坡数据。
[0017]步骤1_2数据变换和增强。使用pytorch的transformer中的Compose方法进行图像数据的变换和增强，主要包括图像的缩放，填充，旋转，中心裁剪等常用的变换方式。
[0018]2.模型特征提取阶段
[0019]特征模型如图2所示，采用ResNet
‑
18对图像数据提取特征，为了更全面的提取到图像的粗细力度特征，我们从ResNet
‑
18中选择中间的三层卷积神经网络分别输出，然后通过concatenate将它们组合成为一个多层结构的联合表示，将这个多尺度融合的特征向量作为接下来图片数据特征重构的基础向量。
[0020]步骤2_1将训练集数据输入ResNet
‑
18中进行特征提取，得到三个不同卷积层的输出，output[i],i＝1,2,3。
[0021]步骤2_2将得到的三个特征层输出两两按照通道维度相加，得到一个组合后的联合特征表示z。
[0022]步骤2_3由于直接采用预训练好的ResNet
‑
18，因此不用梯度更新。直接将z作为接下来待重构的特征向量。例如，训练集中的第i个样本x
i
，得到最终的输出向量z
i
，
[0023]z
i
＝F
Resnet18
(x
i
)
[0024]其中F代表对训练集数据进行的通道对齐函数。
[0025]3.模型正式训练阶段
[0026]正式训练模型如图3所示，正式训练阶段对特征提取阶段得到的输出特征进行重构，主要模型为一个多级Transformer自编码器网络。与传统的卷积神经网络相比，Transformer因其注意力机制而具有更强的图像特征提取和重建能力。为了捕捉粗粒度和细粒度的图像特征，使用了多级Transformer编码器和解码器。此外，本专利技术结合了U
‑
Net的优点，对同一级别的编码器和解码器使用跳跃连接进行信息传递，上一层的编码或解码信
息在不同层的编码器和解码器之间依次传递。
[0027]步骤3_1输入经过ResNet
‑
18预训练好的特征数据。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多级Transformer网络的卫星滑坡图像检测方法，其特征在于该方法包括以下步骤：步骤1：数据预处理，包括对原始数据进行划分和数据变换和增强。步骤2：模型特征提取阶段，提取一个多层特征联合表示。步骤3：模型正式训练阶段，使用多级Transformer自编码器进行训练。步骤4：模型测试阶段，使用训练好的模型测试包含滑坡和非滑坡数据。2.根据权利要求1所述的一种基于多级Transformer网络的卫星滑坡图像检测方法，其特征在于，所述步骤1中的数据预处理模块，具体步骤为：步骤1_1将数据集划分为训练集和测试集的数据文件。步骤1_2数据变换和增强。使用图像的缩放，填充，旋转，中心裁剪等方法进行图像数据的变换和增强。3.根据权利要求1所述的一种基于多级Transformer网络的卫星滑坡图像检测方法，其特征在于，所述步骤2中的特征提取模块，具体步骤为：步骤2_1将训练集数据输入ResNet
‑
18中进行特征提取，得到三个不同卷积层的输出。步骤2_2将得到的三个特征层输出两两按照通道维度相加，得到一个组合后的联合特征表示。步骤2_3直接将联合特征表示作为接下来待重构的特征向量。4.根据权利要求1所述的一种基于多级Transformer网络的卫星滑坡图像检测方法，其特征在于，所述步骤3中的正式训练模块，具体步骤为：步骤3_1输入经过ResNet
‑
18预训练好的特征数据。步骤3_2通过多级Transformer编码器对特征图像数据进行编码。level
‑
i Transformer的编码器公式如下，其中是经过预训练的特征向量。是第i级编码器的输出。z0是零填充向量，i是第i级编码器，n是patch块的大小。步骤3_3通过多...

【专利技术属性】
技术研发人员：席亮，何东，孟祥龙，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：