【技术实现步骤摘要】
本专利技术涉及遥感影像融合分类处理领域，具体来说是一种基模态注意力的循环生成学习的高光谱和激光雷达分类方法。
技术介绍
1、遥感图像分类是一种利用遥感数据进行地物分类和识别的技术。遥感图像是通过卫星、飞机等远距离获取地面信息的图像。遥感图像分类的目标是将这些图像中的地物按照类别进行自动分类，例如建筑物、水体、植被等。
2、遥感图像分类广泛应用于环境监测、土地利用规划、资源管理、灾害评估、农业监测等领域。通过对遥感图像进行分类，可以提供大范围的地理信息，为决策者提供准确的空间数据，帮助他们更好地管理和利用地球资源。
3、早期对rs数据进行分类的工作大多涉及单一类型的数据。例如，hsi分类专门使用hsi数据。目前的hsi分类技术可以获得令人满意的结果，然而，可能会出现一些错误分类，特别是在城市环境中，其中道路和建筑物的屋顶可能由相同的材料建造，并具有相似的光谱曲线。因此，仅使用光谱数据来区分这些土地覆盖类型具有挑战性。
4、随着遥感技术的发展，在同一地理区域获取的多传感器数据的可用性大大提高，这使得通过不同的传感器数据同时描述潜在的土地覆盖现象成为可能。不同的传感器数据可以提供同一土地覆盖对象的不同类型信息，如sar提供幅度和相位信息，可以同时获得土地覆盖的空间和光谱信息，激光雷达反映深度和强度信息。高光谱其中，高光谱图像的联合空间光谱成像模式提供了土地覆盖物的详细光谱信息。hsi在识别深度和强度相似但材料不同的土地覆盖物(如人行道和草坪)方面显示出其独特的潜力。然而，在rs成像系统的设计中，空间
5、现有高光谱数据和激光雷达的dsm数据的融合分类方法主要存在以下问题：模型的分类性能严重依赖训练样本的数量及质量，但遥感图像的标签获取困难，限制了模型的发展和多模态数据融合不充分的问题，通过简单的逐元素相加、矩阵相乘和concat操作并不能很好地让多模态数据充分发挥作用。针对以上问题，本专利技术提出一种基模态注意力的循环生成学习的高光谱和激光雷达分类方法。
技术实现思路
1、本专利技术的目的是为了解决监督学习模型的分类性能严重依赖训练样本的数量及质量和多模态数据融合不充分的问题，提供一种基模态注意力的循环生成学习的高光谱和激光雷达分类方法来解决上述问题。
2、为了实现上述目的，本专利技术的技术方案如下：
3、一种基模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，包括以下步骤：
4、11)基于模态注意力的循环生成学习的高光谱和激光雷达分类方法数据准备和特征提取：对获取的高光谱和激光雷达数据集进行划分裁剪；构建基于编码器和解码器结构的循环生成学习三分支网络对多模态数据进行特征提取；
5、12)建立模态注意力循环生成学习模块：构建一个模态注意力循环生成学习的框架，使用通道注意力模块、空间注意力模块和模态注意力模块提取多模态的差异特征和模态综合特征，通过循环生成学习不断优化学习参数；
6、13)建立多尺度决策级融合分类模块：构建一个多尺度决策级融合分类的模块，在模态注意力循环生成学习的基础上进行二次微调；
7、14)基于模态注意力的循环生成学习的高光谱和激光雷达分类网络的训练和结果获取：利用划分好的训练集及其对应标签对所建立的网络模型进行训练并调整参数，直到训练达到预设的迭代次数epoch,最后保留相应的参数与训练好的网络，对其他目标影像分类获取结果；
8、15)利用步骤14)得到的训练好的基于模态注意力的循环生成学习的高光谱和激光雷达分类网络，将预处理过的测试数据集输入加载好的模型进行预测，通过计算每个类别的精度、平均精度(aa)、总体精度(oa)和kappa系数来评价网络模型的分类性能。
9、所述基于模态注意力的循环生成学习的高光谱和激光雷达分类数据准备和特征提取包括以下步骤：
10、21)在数据集上，将每个类别的标记样本中18％被选为训练样本，其余的作为测试样本，根据类别标记样本位置的(x，y)坐标，其中x为横坐标，y为纵坐标，在配对的高光谱图像、激光雷达图像和标签图像上以该坐标为中点，切分出32×32大小图像块；
11、22)构建并行的三支路的编码器和解码器结构，三条支路都是由卷积神经网络构成，其中cnn光谱特征提取分支和cnn空间特征提取分支处理高光谱图像，分别提取高光谱图像中的光谱特征和空间特征，cnn高程特征提取分支处理激光雷达图像，提取激光雷达图像中的高程特征；
12、221)将预处理后的高光谱图像输入到cnn光谱特征提取分支，训练一个有空间注意力机制的特征提取模型，具体步骤如下：
13、2211)预处理后的高光谱图像首先经过下采样空间特征提取，具体步骤如下：
14、2212)对于输入图像执行一个卷积核大小为3×3，步长为1，填充大小为1的卷积、一个层归一化、一个relu激活函数、一个大小为2×2，步长为2的最大值池化，得到第一个下采样输出图像，图像大小为输入图像的
15、2213)对于第一个下采样的输出图像执行一个卷积核大小为3×3，步长为1，填充大小为1的卷积、一个层归一化、一个relu激活函数、一个大小为2×2，步长为2的最大值池化，得到第二个下采样输出图像，图像大小为输入图像的
16、2214)对于第二个下采样的输出图像执行一个卷积核大小为3×3，步长为1，填充大小为1的卷积、一个层归一化、一个relu激活函数、一个大小为2×2，步长为2的最大值池化，得到第三个下采样输出图像，图像大小为输入图像的
17、2215)对于第三个下采样的输出图像执行一个卷积核大小为3×3，步长为1，填充大小为1的卷积、一个层归一化、一个relu激活函数、一个大小为2×2，步长为2的最大值池化，得到第四个下采样输出图像，图像大小为输入图像的
18、2216)将经过四次下采样的特征图，输入到通道注意力模块，具体步骤如下：
19、将输入特征图形状分别重塑为(h×w)×c和(h×w)×c，将其中一个转置操作后与另一个进行进行矩阵乘法，再经过一个softmax激活函数得到c×c大小的权重图；
20、将获得的权重图与输入特征图进行矩阵相乘，获得通道维特征加强的特征图，最后，重塑特征图的形状为h×w×c，与输入的特征图进行逐像素相加后输出；
21、222)将预处理后的高光谱图像输入到cnn空间特征提取分支，训练一个有空间注意力机制的特征提取模型，具体步骤如下：
22、2221)预处理后的高光谱图像首先经过下采样空间特本文档来自技高网...
【技术保护点】
1.一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，所述基于模态注意力的循环生成学习的高光谱和激光雷达分类方法数据准备和特征提取包括以下步骤：
3.根据权利要求1所述的一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，所述多尺度决策级融合分类模块包括以下步骤：
4.根据权利要求1所述的一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，所述基于模态注意力的循环生成学习的高光谱和激光雷达分类网络的训练和结果获取包括以下步骤：
【技术特征摘要】
1.一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于模态注意力的循环生成学习的高光谱和激光雷达分类方法，其特征在于，所述基于模态注意力的循环生成学习的高光谱和激光雷达分类方法数据准备和特征提取包括以下步骤：
3.根据权利要求...
【专利技术属性】
技术研发人员：徐凯，汪帮俊，朱洲，汪安铃，陈咏夷，贾兆红，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。