一种基于多源遥感数据的湿地分类方法和电子设备技术

本申请涉及图像处理技术领域，提供一种基于多源遥感数据的湿地分类方法和电子设备，其中，分类方法包括：获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型；将高光谱图像数据输入第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；将多光谱图像数据输入第二特征提取网络，提取多尺度空间特征，得到多光谱特征；将高光谱特征和多光谱特征输入深度交叉注意模块进行特征融合；利用全连接层和损失函数，得到湿地分类结果。将双分支特征提取模块对深度交叉注意模块的特征提取部分进行改进，深度交叉注意模块能够更充分利用两种不同遥感数据的特点，分类性能更优，在总体准确度和Kappa系数方面均有较大的提升。的提升。的提升。

【技术实现步骤摘要】
一种基于多源遥感数据的湿地分类方法和电子设备


[0001]本专利技术涉及图像处理
，具体涉及一种基于多源遥感数据的湿地分类方法和电子设备。

技术介绍

[0002]目前的湿地精细分类方法大致分为两种：一种是仅利用单个种类的图像数据，基于机器学习方法进行分类的方法，另一种是将多种图像所拥有的信息进行融合，基于卷积神经网络进行分类的方法。
[0003]部分现有技术对该分类方法进行了改进，如：双分支的卷积神经网络（Convolutional Neural Networks, CNN）分类模型对高光谱图像(Hyperspectral Image，HSI)和激光雷达图像分别使用两个子网络对其中的地物元素进行分类，然后用全连接层将两个子网络进行连接，取得最终结果；深度特征交互网络分类模型将高光谱图像和多光谱图像（Multispectral Image，MSI）两种图像所提取的特征进行多次特征融合，提高模型分类精度。
[0004]随着研究不断深入，人们发现高光谱图像存在“同谱异物”和“同物异谱”现象，不利于空间特征的提取。然而，尽管目前所提出的深度学习方法以及信息融合方法一定程度上提升了模型的分类精度，对于不同种类的数据仍然存在特征表示的不平衡问题，导致分类性能无法进一步提升。
[0005]因此，如何进行提升湿地地物分类的精度成为亟待解决的技术问题。

技术实现思路

[0006]为解决上述
技术介绍
中阐述的现有技术中如何进行提升湿地地物分类的精度的技术问题，本申请提出了一种基于多源遥感数据的湿地分类方法和电子设备。
[0007]根据第一方面本申请实施例提供了一种基于多源遥感数据的湿地分类方法，包括：获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型，其中，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络；将所述高光谱图像数据输入所述第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征；将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征；利用全连接层和损失函数，将融合特征映射到标签空间，得到湿地分类结果。
[0008]可选地，所述第一特征提取网络包括：光谱特征提取网络和空间特征提取网络；所述将所述高光谱图像数据输入所述第一特征提取网络分别提取和空间特征得到高光谱特征包括：利用所述光谱特征提取网络提取所述光谱的每个像素的特征，得到所述光谱特征；利用所述空间特征提取网络根据每个像素以及每个像素的邻域像素的信息对空间信息进行学习，提取空间特征。
[0009]可选地，所述光谱特征提取网络和所述空间特征提取网络的网络结构相同。
[0010]可选地，第二特征提取网络包括至少两个级联块的卷积神经网络；所述将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征包括：对不同卷积层的卷积结果进行第一特征重用操作；对不同激活层的激活结果进行第二特征重用操作，得到所述多光谱特征。
[0011]可选地，所述将所述高光谱特征和所述多光谱特征输入所述深度交叉注意模块进行特征融合，得到融合特征包括：基于所述高光谱特征和所述多光谱特征在对应像素上的相关性分别利用注意力机制和互卷积操作两次特征融合得到所述融合特征。
[0012]可选地，所述深度交叉注意模块包括相关层、注意层和深度相关层，在注意层中计算所述语义相关性矩阵对应的交叉注意矩阵；利用注意层对所述交叉注意矩阵进行学习得到，多光谱图像数据对高光谱图像数据的第一非互斥关系以及高光谱图像数据对多光谱图像数据的第二非互斥关系；利用注意机制将所述高光谱特征与所述第一非互斥关系进行融合，得出所述高光谱图像数据的第一包含关系特征图；利用注意机制将所述多光谱特征与所述第二非互斥关系进行融合，得出所述多光谱图像数据的第二包含关系特征图；在深度相关层中，对所述第一包含关系特征图和所述第二包含关系特征图运用互相卷积操作进行特征融合，得出所述融合特征。
[0013]可选地，所述获取湿地的高光谱图像数据和多光谱图像数据之后还包括：对所述高光谱图像数据和所述多光谱图像数据进行地理信息配准。
[0014]可选地，还包括：对所述高光谱图像数据进行上采样操作。
[0015]根据第二方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器，用于存储计算机程序；所述处理器，用于通过运行所述存储器上所存储的所述计算机程序来执行第一方面中任一项所述的基于多源遥感数据的湿地分类方法。
[0016]根据第三方面，本申请实施例提供了一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行第一方面中任一项所述的基于多源遥感数据的湿地分类方法。
[0017]本申请利用双分支特征提取模块对高光谱图像数据利用具有双隧道的第一特征提取网络分别提取光谱特征和空间特征得到高光谱特征，利用具有级联块的第二特征提取网络提取多光谱图像数据的多尺度空间特征，对于两种不同遥感图像数据提取不同角度特征，从而最大化考虑了两种图像的特点，将双分支特征提取模块对深度交叉注意模块的特征提取部分进行改进，其中深度交叉注意模块能够更充分利用两种不同遥感数据的特点，使得分类性能更优，在总体准确度和Kappa系数方面均有较大的提升。
附图说明
[0018]此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本申请一种实施例中基于多源遥感数据的湿地分类方法的硬件环境的示意图；
图2为本申请一种实施例中基于多源遥感数据的湿地分类方法的流程示意图；图3为本申请一种实施例中分类网络模型结构的示意图；图4为本申请一种实施例中第一特征提取网络结构的示意图；图5为本申请一种实施例中第二特征提取网络结构的示意图；图6为本申请一种实施例中第二特征提取网络中级联块结构示意图；图7为本申请一种实施例中深度交叉注意模块结构示意图；图8为本申请一种实施例中的电子设备示意图。
具体实施方式
[0019]为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图说明本专利技术的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。
[0020]在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。
[0021]在以下的描述中，将描述本专利技术的多个不同的方面，然而对于本领域内的普通技术人员而言，可以仅仅利用本专利技术的一些或者全部结构或者流程来实施本专利技术。为了解释本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多源遥感数据的湿地分类方法，其特征在于，包括：获取湿地的高光谱图像数据、多光谱图像数据和预训练的分类网络模型，其中，所述分类网络模型包括特征提取网络和深度交叉注意模块，其中，所述特征提取网络包括具有双隧道的第一特征提取网络和具有级联块的第二特征提取网络；将所述高光谱图像数据输入所述第一特征提取网络分别提取光谱特征和空间特征，得到高光谱特征；将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征；将所述高光谱特征和所述多光谱特征输入深度交叉注意模块进行特征融合，得到融合特征；利用全连接层和损失函数，将融合特征映射到标签空间，得到湿地分类结果。2.如权利要求1所述的基于多源遥感数据的湿地分类方法，其特征在于，所述第一特征提取网络包括：光谱特征提取网络和空间特征提取网络；所述将所述高光谱图像数据输入所述第一特征提取网络分别提取和空间特征得到高光谱特征包括：利用所述光谱特征提取网络提取光谱的每个像素的特征，得到所述光谱特征；利用所述空间特征提取网络根据每个像素以及每个像素的邻域像素的信息对空间信息进行学习，提取空间特征。3.如权利要求2所述的基于多源遥感数据的湿地分类方法，其特征在于，所述光谱特征提取网络和所述空间特征提取网络的网络结构相同。4.如权利要求1所述的基于多源遥感数据的湿地分类方法，其特征在于，第二特征提取网络包括至少两个级联块的卷积神经网络；所述将所述多光谱图像数据输入所述第二特征提取网络，提取多尺度空间特征，得到多光谱特征包括：对不同卷积层的卷积结果进行第一特征重用操作；对不同激活层的激活结果进行第二特征重用操作，得到所述多光谱特征。5.如权利要求1所述的基于多源遥感数据的湿地分类方法，其特征在于，所述将所述高光谱特征和所述多光谱特征输入深度交叉注意模块进行特征融合，得到融合特征包括：基于所述高光谱特征和所述多光谱...

【专利技术属性】
技术研发人员：秦华伟，赵玉杨，王建步，马元庆，张明亮，刘爱英，邢红艳，宋秀凯，孙珊，苏博，姜向阳，张娟，李凡，谷伟丽，李少文，李志林，姜会超，李伟，
申请(专利权)人：自然资源部第一海洋研究所北京理工大学，
类型：发明
国别省市：