基于密集残差三维卷积神经网络的高光谱遥感图像分类方法技术

本发明专利技术公开了一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，以原始高光谱数据作为网络输入，采用三维卷积提取高光谱遥感图像的三维空谱特征，三维卷积可以直接对高光谱图像进行处理，不需要进行降维等预处理操作，更充分地提取高光谱图像的空谱特征。利用密集残差网络加深网络层数，学习更深层次的光谱和空间特征，随着网络深度的增加，残差网络可以有效减少梯度消失的问题，并且该结构可以更有效地利用特征并增强卷积层之间的特征传递；通过早停的方法来缩减训练时间，通过Soft‑max分类器进行分类预测，得到初始分类结果；提出多标签条件随机场优化算法，对分类的结果进行优化。本发明专利技术提升运算效率，提高了遥感图像分类的准确度。

Hyperspectral remote sensing image classification method based on dense residual 3-D convolution neural network

【技术实现步骤摘要】
基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
本专利技术属于遥感测绘与信息工程领域，尤其涉及一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法。
技术介绍
随着高光谱遥感技术的发展，新的高光谱传感器能够同时采集光谱特征和空间特征的连续图像，这些图像包含丰富的地物信息。遥感数据不仅反映了地物的光谱信息，且同时包含了地物的空间分布信息，因此，在农业、环境监测、城市规划和军事侦察等领域有着广泛的应用。地物的发展和类型变化容易引起遥感图像数值的变化，因此能否对遥感图像数据的变化规律准确分析，是地物类型进行分类与识别的关键。遥感数据不仅包含了地物的光谱信息，还含有地物的空间分布信息，所含信息量复杂，给高光谱遥感图像的分类带来了挑战，传统的高光谱遥感图像分类方法仅仅利用了图像的光谱信息，导致分类的准确度一直很不如人意。深度学习作为一种能够结合空间信息的分类方法能对高光谱遥感图像的地物信息进行准确的划分与识别，近年来被广泛应用于高光谱图像的分类任务中。深度学习网络通过模拟人脑的学习过程，利用了多层抽象机制来对数据进行抽象表达，提供了一种可以自动进行特征学习的框架。该框架以原始数据作为输入，通过逐层抽象和表示，逐步将原始数据转换为一组具备较高描述能力的特征。深度学习中的各层网络输出同样具有描述能力，每个网络层次都是数据在不同层次的抽象和描述，较为底层的网络输出对应于数据的底层特征，而中高层的网络输出对应于数据的中高层特征，自动建立了数据的底层特征到高层结构的关联与映射。深度学习可以为高光谱数据分析提供新的机制，深度学习可以作为一种能够结合空间信息的分类方法能对高光谱遥感图像的地物信息进行准确的划分与识别，近年来被广泛应用于高光谱图像的分类任务中。
技术实现思路
专利技术目的：本专利技术提出了一种基于密集残差三维卷积神经网络(DR-3D-CNN)的高光谱图像分类方法，用于高光谱遥感图像的分类，有效提升运算效率，提高分类的准确度，充分利用了光谱空间信息的同时也缓解了梯度弥散的问题。技术方案：为实现本专利技术的目的，本专利技术所采用的技术方案是：一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，包括以下步骤：步骤一，利用高光谱遥感图像的原始样本构建虚拟样本，将原始样本和虚拟样本混合构成训练样本，所述训练样本为三维的数据立方体；步骤二，利用加入密集残差结构的三维卷积神经网络，将混合训练样本作为网络输入，提取高光谱遥感图像的三维空谱特征，将三维特征转换为一维特征；步骤三，在神经网络的全连接层使用Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，得到初始分类结果，即高光谱遥感图像每个像元所属类别；步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果。进一步地，所述步骤一，构建混合训练样本，具体如下：使用高光谱遥感图像的原始样本数据通过模拟成像，将随机因子和随机噪声加入原始样本，形成虚拟样本，所述虚拟样本是根据高光谱图像的原始样本变换得来的一种伪样本，公式如下：其中，yk是生成的虚拟样本，xi、xj表示同一类别中两个不同的原始样本，在一定范围内变化的高光谱特征属于一个类别，yk拥有和样本xi、xj同样的类别标签；αi、αj是对应样本的光强度扰动，β表示高斯噪声ns的权重；将原始样本和生成的虚拟样本混合构成训练样本，输入网络进行训练，可以有效提高样本的总体数量，在一定程度上缓解了数据不平衡的问题。高光谱图像不同于通常的二维图像，在二维图像空间信息的基础上添加了光谱维，形成三维的数据立方体。通常卷积神经网络对高光谱图像分析时要进行降维等预处理操作，但是降维处理会损失高光谱图像中的细节信息，此方法不利于高光谱图像不同地物的识别。因此本专利技术采用三维卷积神经网络(3D-CNN)对高光谱数据立方体进行分析处理。同时将密集连接结构(即第l层的输入是第0层到第l-1层中每层输出的和)融入3D-CNN中，用来学习高光谱遥感图像中更深层次的光谱空间特征。进一步地，所述步骤二，提取空谱特征方法具体如下：2-1，以待分类像元为中心提取邻域大小为s×s×L的高光谱图像数据立方体作为网络的输入，其中s×s表示图像的空间域大小，L是高光谱图像的光谱维度；2-2，通过三维卷积神经网络的第一个卷积层C1的卷积操作得到n个s×s×b大小的特征图，b为光谱维数，b＜L；2-3，将所得特征图通过密集残差连接的卷积神经网络的三个卷积层C2、C3和C4，将每层得到的特征图组合，得到m个s×s×b大小的特征图，b为光谱维数；2-4，通过卷积层C5和池化层，将三维的特征转换为一维的特征，再连接全连接层FC，全连接层输出的结果即为提取到的空谱特征。进一步地，在全连接层采用dropout方法随机丢弃50％的隐藏层节点以控制过拟合的风险。进一步地，所述密集连接结构即第l层的输入是第0层到第l-1层中每层输出的和；卷积层使用大小为a×a×d的k个卷积核学习光谱空间特征，a＞1,d＞1；第l层的输入表示为：第一个卷积层C1处理的是s×s×L大小的原始像素数据，得到n个大小为s×s×b的特征图；将这些特征图作为密集残差结构中的输入上标0表示起始位置中的数据，下标1表示密集残差连接结构中的数据；密集残差连接的三个卷积层C2、C3和C4的输入和输出的特征图大小为s×s×b，输出的特征图的数量为k；输入的特征图的数量随着卷积层的增加而不断增多，第l层的输入特征图的数量kl表示为：kl＝n+(l-1)×k其中n是初始特征图的数目，通过密集残差连接结构，特征图的数目最终合并为km。进一步地，所述步骤三，神经网络的全连接层输出的一维特征向量输入Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，对高光谱遥感图像进行初级分类；具体如下：标注混合训练样本(x(i),y(i))用于网络的学习，样本总数为N，x(i)为第i个混合训练样本，y(i)为样本x(i)的输出期望类别标签，y(i)∈T,T＝{t1,t2,...,tq}，T为标签集合，q为类别总数，tq为类别总数；构建目标函数如下：其中Y(i)为网络的实际预测值，Yj(i)为Y(i)的第j个分量，表示属于第j类的概率，θ1,θ2,θ3,...,θq为逻辑回归参数矩阵，1{·}为示性函数，即当大括号内条件为真时，结果为1，否则结果为0；分类结束后得到样本x(i)属于第j类的概率以及样本所属的标签；采用Adam优化器训练卷积神经网络，优化目标函数，对参数进行学习直到误差满足预期；训练过程中，在一定的批次后，如果目标函数损失不再减少，提前停止训练，这样可以有效减少训练所需时间，并防止过拟合；训练结束后，通过训练好的卷积神经网络以及Soft-max分类器得到初始分类结果，即高光谱遥感图像每个像元所属类别。进一步地，所述步骤四，将得到的初始分类结果通本文档来自技高网...

【技术保护点】
1.一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：该方法包括以下步骤：/n步骤一，利用高光谱遥感图像的原始样本构建虚拟样本，将原始样本和虚拟样本混合构成训练样本，所述训练样本为三维的数据立方体；/n步骤二，利用加入密集残差结构的三维卷积神经网络，将混合训练样本作为神经网络输入，提取高光谱遥感图像的三维空谱特征，将三维特征转换为一维特征；/n步骤三，在神经网络的全连接层使用Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，得到初始分类结果，即高光谱遥感图像每个像元所属类别；/n步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果。/n

【技术特征摘要】
1.一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：该方法包括以下步骤：
步骤一，利用高光谱遥感图像的原始样本构建虚拟样本，将原始样本和虚拟样本混合构成训练样本，所述训练样本为三维的数据立方体；
步骤二，利用加入密集残差结构的三维卷积神经网络，将混合训练样本作为神经网络输入，提取高光谱遥感图像的三维空谱特征，将三维特征转换为一维特征；
步骤三，在神经网络的全连接层使用Soft-max分类器进行分类预测，构建目标函数，训练卷积神经网络，得到初始分类结果，即高光谱遥感图像每个像元所属类别；
步骤四，将得到的初始分类结果通过多标签条件随机场进行全局优化，得到最终的高光谱图像的分类结果。


2.根据权利要求1所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述步骤一，构建混合训练样本，具体如下：
使用高光谱遥感图像的原始样本数据通过模拟成像，将随机因子和随机噪声加入原始样本，形成虚拟样本，公式如下：



其中，yk是生成的虚拟样本，xi、xj表示同一类别中两个不同的原始样本，在一定范围内变化的高光谱特征属于一个类别，yk拥有和样本xi、xj同样的类别标签；αi、αj是对应样本的光强度扰动，β表示高斯噪声ns的权重；
将原始样本和生成的虚拟样本混合构成训练样本。


3.根据权利要求1所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述步骤二，提取空谱特征方法具体如下：
2-1，以待分类像元为中心提取邻域大小为s×s×L的高光谱图像数据立方体作为网络的输入，其中s×s表示图像的空间域大小，L是高光谱图像的光谱维度；
2-2，通过三维卷积神经网络的第一个卷积层C1的卷积操作得到n个s×s×b大小的特征图，b为光谱维数，b＜L；
2-3，将所得特征图通过密集残差连接的卷积神经网络的三个卷积层C2、C3和C4，将每层得到的特征图组合，得到m个s×s×b大小的特征图，b为光谱维数；
2-4，通过卷积层C5和池化层，将三维的特征转换为一维的特征，再连接全连接层FC，全连接层输出的结果即为提取到的空谱特征。


4.根据权利要求3所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：在全连接层采用dropout方法随机丢弃50％的隐藏层节点以控制过拟合的风险。


5.根据权利要求3所述的一种基于密集残差三维卷积神经网络的高光谱遥感图像分类方法，其特征在于：所述密集连接结构即第l层的输入是第0层到第l-1层中每层输出的和；卷积层使用大小为a×a×d的k个卷积核学习光谱空间特征，a＞1,d＞...

【专利技术属性】
技术研发人员：陈苏婷，张闯，吴超群，丁杰，邵东威，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32