基于深度学习的多模态遥感影像高层特征融合分类方法技术

本发明专利技术涉及一种基于深度学习的多模态遥感影像高层特征融合分类方法，其包括以下步骤：多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；高层特征融合算法，用于制作分类器的训练集、验证集与测试集；分类器模型参数的构建，用于新产生的数据集的分类。本发明专利技术通过深度学习可以在遥感影像地物分类中取得显著效果，适用于复杂、海量的遥感影像分类，具有精度高、快速、高效、安全的特点，从而提高遥感影像的利用率以及遥感影像的利用价值。

High level feature fusion classification method for multi-modal remote sensing image based on deep learning

The invention relates to a multi mode remote sensing image high level feature fusion classification method based on depth learning, which includes the following steps: preprocessing of multimodal remote sensing data set, making the training set, verification set and test set of high level feature extractor, building the model parameters of the high level feature extractor, and multi-mode high level feature. The model of the extractor is used to extract the high-level features of multiple modal remote sensing images; the extraction and storage of multi-modal remote sensing images is used for training, verification and testing of multiple classifiers; high level feature fusion algorithm is used to make the training set, verification set and test set of classifier; the parameters of classifier model are constructed. It is built for the classification of newly generated data sets. The invention can achieve significant effect in the classification of remote sensing images by deep learning. It is suitable for the classification of complex and massive remote sensing images. It has the characteristics of high accuracy, rapid, efficient and safe, thus improving the utilization of remote sensing images and the value of the use of remote sensing images.

【技术实现步骤摘要】
基于深度学习的多模态遥感影像高层特征融合分类方法
本专利技术涉及机器学习领域，尤其涉及深度学习领域，具体涉及一种基于深度学习的多模态遥感影像高层特征融合分类方法。
技术介绍
随着遥感技术的发展，高效的将遥感技术应用于区域性土地调查、定量提取土地利用信息、监测与评价环境等具有重要的研究价值。其中，遥感影像分类技术作为遥感应用的重要支撑已广泛应用于专题信息提取、变化检测、专题地图制作以及遥感数据库的建立。遥感影像分类是遥感应用系统中的关键技术，其主要任务是根据地物电磁波辐射信息在遥感影像上的特征，判读识别地面物体的属性及其分布状况。虽然近年来遥感影像分类算法的研究取得了较大的进展，但其在现实中，由于地表地物成分、性质、分布情况的复杂性及成像条件等因素，实际影像会出现“同物异谱”和“同谱异物”的现象；应对各种遥感影像识别方法普遍通用性较差；现存的遥感影像识别方法过程复杂，不易操作。所以，如何提高遥感影像分类算法的精读和速度以适应上述挑战仍然是目前研究聚焦的核心。遥感影像分类领域可分为单模态分类技术和多模态分类技术。单模态分类是基于一种模态遥感影像的分类算法，单模态分类方法中，在处理“同物异谱”和“同谱异物”等复杂问题时，无法很好地应对。多模态分类方法则更好地解决了遥感影像“同物异谱”和“同谱异物”给分类带来的挑战。多模态遥感影像分类方法层出不穷，而且这个领域的发展趋势逐渐从传统的分类方法转向机器学习和信号处理的高级方法。在处理来自多个传感器、不同分辨率以及具有不同物理表达形式的多模态遥感影像时，虽然机器学习已经广泛应用于遥感影像分类，但是这类方法依然存在以下四个问题：(1)对多种模态的选择具有限制性；(2)遥感影像具有的光谱、维度、时相、分辨率等特点，使得数据处理具有严峻的挑战；(3)如何建立多种模态之间的相互关系用于提高遥感影像的分类精度有一定的难度；(4)随着遥感技术的发展，海量的遥感影像处理面临挑战。专利文献CN104102929A，公开日2014.10.15，公开了一种基于深度学习的高光谱遥感数据分类方法，该方法首先对高光谱原始数据进行处理获得高光谱原始数据的光谱特征向量和空间特征信息；再对所述光谱特征向量和空间特征信息进行整合；由高光谱整合数据确定标记样本，并由标记样本中选择训练样本和测试样本；使用训练样本对构成深层网络的多层限制玻尔兹曼机进行预训练；使用训练样本对多层限制玻尔兹曼机构成的网络进行有监督学习；将测试样本输入微调后的多层限制玻尔兹曼机构成的网络，实现高光谱遥感数据的分类。该方法解决了现有对蕴含非线性特征的高光谱数据进行分类的方法存在分类精度低的问题。专利文献CN105930877A，公开日2016.09.07，公开了一种基于多模态深度学习的遥感影像分类方法，该方法包括以下步骤：首先构建多模态遥感影像数据样本集，包括不同成像原理的多模态遥感影像；基于不同的数据模态，构建数据模态敏感的特征学习深度网络，采用不同模态数据分别训练相应的特征学习深度网络；建立模态间特征关联模型生成关联共享特征并训练；采用测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类。该专利技术的优点表现在：有效利用多源遥感影像，挖掘模态间互补、合作信息，整个过程自动进行，减少了人工投入与主观人为因素导致的分类精度低，提高了分类精度。专利文献CN106845418A，公开日2017.06.13，公开了一种基于深度学习的高光谱图像分类方法，首先通过数据样本的获取、自编码网络的逐层训练及采用BP算法对预训练得到初始权值的进一步调整，实现对高光谱图像的降维处理；然后取高光谱图像中每一个像元邻域内的数据立方体作为卷积神经网络的输入，像元对应的地物种类作为卷积神经网络的期望输出，训练卷积神经网络，并将训练好的卷积神经网络作用于整幅高光谱图像，得到最后高精度分类结果。该专利技术克服了传统高光谱图像分类问题中降维过程中丢弃细节、分类时空间信息丢失、分类精度低的弊端，达到了较好的分类精度。专利文献CN106897737A，2017.06.27，公开了一种基于高光谱遥感图像的地物分类方法，将原始的超限学习机网络扩展为层级化多通道融合网络，在网络训练方面，不同于原始ELM网络的最小二乘算法求解输出权重策略以及深度学习网络的全局迭代调优策略，而是采用贪婪式逐层训练的方式，对层级网络逐层训练，极大地缩短了网络的训练时间，在逐层训练的过程中，每层网络的训练求解模型均添加l1正则优化项，使得参数求解结果更稀疏，减少过拟合风险；在网络功能方面，该专利技术所提网络模型的不同层级实现了目标数据特征学习或特征融合。然而，目前还未见可以有效克服如前所述的机器学习应用于遥感影像分类中尚存在的四个问题，能够快速、高效、安全的对复杂、海量的遥感数据进行分类的方法。
技术实现思路
本专利技术的目的是针对现有技术中的不足，提供一种基于深度学习的多模态遥感影像高层特征融合分类方法。为实现上述目的，本专利技术采取的技术方案是：一种基于深度学习的多模态遥感影像高层特征融合分类方法，包括以下步骤：步骤1，多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；步骤2，多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；步骤3，多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；步骤4，高层特征融合算法，用于制作分类器的训练集、验证集与测试集；步骤5，分类器模型参数的构建，用于新产生的数据集的分类。作为本专利技术的一个优选例，所述的步骤1包括以下步骤：步骤1-1，根据遥感影像的特点确定多种模态的数据类型；步骤1-2，将多模影像裁剪成128*128大小的影像，并根据类别打标签，然后分别按照7:1:2的比例构建两组模态的训练集、验证集、测试集。作为本专利技术的一个优选例，根据遥感影像数据集的特点选择两种不同分辨率作为多模态。作为本专利技术的一个优选例，所述的步骤2包括以下步骤：步骤2-1，设计目标函数：使用交叉熵函数评估分类效果：给定两个概率分布p和q，通过q来表示p的交叉熵为：再采用tensorflow中去掉回归参数的Softmax回归将神经网络的输出变成一个概率分布，从而通过交叉熵来计算预测的概率分布与真实答案的概率分布之间的距离，p代表的是正确答案，q代表的是预测值；步骤2-2，设计深度学习的网络结构：包括卷积层、池化层、全连接层以及Softmax层的组装；学习率的设置；过拟合问题的处理。作为本专利技术的一个优选例，使用尺寸为3*3，大小深度为16的卷积核，经过前向传播过程得到的单位矩阵中的第i个节点的取值g(i)为：其中，表示对于输出单位节点矩阵中的第i个节点，过滤器输入节点(x，y，z)的权重，使用bi表示第i个输出节点对应的偏置参数，ax，y，z为过滤器中节点(x，y，z)的取值，f为激活函数；同时使用ReLU作为激活函数时单位矩阵中第i个节点取值的计算。作为本专利技术的一个优选例，采用过滤器尺寸为[1，2，2，1]的池化层实现最大池化。作为本专利技术的一个优选例，用指数衰减的方法设置梯度下降算法中的学习率，具体实现算法如下：decayed_learning_rate＝\learning_rate*decay_rate本文档来自技高网...

【技术保护点】
一种基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，包括以下步骤：步骤1，多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；步骤2，多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；步骤3，多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；步骤4，高层特征融合算法，用于制作分类器的训练集、验证集与测试集；步骤5，分类器模型参数的构建，用于新产生的数据集的分类。

【技术特征摘要】
1.一种基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，包括以下步骤：步骤1，多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；步骤2，多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；步骤3，多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；步骤4，高层特征融合算法，用于制作分类器的训练集、验证集与测试集；步骤5，分类器模型参数的构建，用于新产生的数据集的分类。2.根据权利要求1所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的步骤1包括以下步骤：步骤1-1，根据遥感影像的特点确定多种模态的数据类型；步骤1-2，将多模影像裁剪成128*128大小的影像，并根据类别打标签，然后分别按照7:1:2的比例构建两组模态的训练集、验证集、测试集。3.根据权利要求2所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，根据遥感影像数据集的特点选择两种不同分辨率作为多模态。4.根据权利要求1所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的步骤2包括以下步骤：步骤2-1，设计目标函数：使用交叉熵函数评估分类效果：给定两个概率分布p和q，通过q来表示p的交叉熵为：再采用tensorflow中去掉回归参数的Softmax回归将神经网络的输出变成一个概率分布，从而通过交叉熵来计算预测的概率分布与真实答案的概率分布之间的距离，p代表的是正确答案，q代表的是预测值；步骤2-2，设计深度学习的网络结构：包括卷积层、池化层、全连接层以及Softmax层的组装；学习率的设置；过拟合问题的处理。5.根据权利要求4所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，使用尺寸为3*3，大小深度为16的卷积核，经过前向传播过程得到的单位矩阵中的第i个节点的取值g(i)为：其中，表示对于输出单位节点矩阵中的第i个节点，过滤器输入节点(x，y，z)的权重，使用bi表示第i个输出节点对应的偏置参数，ax，y，z为过滤器中节点(x，y，z...

【专利技术属性】
技术研发人员：贺琪，黄冬梅，李瑶，杜艳玲，查铖，李明慧，
申请(专利权)人：上海海洋大学，
类型：发明
国别省市：上海,31