基于双路卷积融合神经网络的高光谱图像分类模型及方法技术

本发明专利技术公开了一种基于双路卷积融合神经网络的高光谱图像分类模型，包括双边卷积融合模块和分类模块，双边卷积融合模块包括多个串接的双边融合块；双边融合块包括：最优特征提取模块、最优特征强化模块、空间局部联系性传递模块及特征融合模块；最优特征提取模块包括串接的卷积单元和池化单元，卷积单元的输出连接至空间局部联系性传递模块的输入；池化单元的输出连接至最优特征强化模块的输入；最优特征强化模块和空间局部联系性传递模块的输出共同作为特征融合模块的输入。本申请通过双层结构保持较高的空间分辨率，克服因卷积神经网络表征分辨率下降引发的空间敏感判别特征的提取下降问题，提高分类精度。

【技术实现步骤摘要】
基于双路卷积融合神经网络的高光谱图像分类模型及方法
本专利技术涉及高光谱图像分类，具体涉及一种基于双路卷积融合神经网络的高光谱图像分类模型及方法。
技术介绍
高光谱图像是由上百个光谱波段组成的多种信息综合载体，是遥感科学的重要研究领域与热点研究方向。目前，高光谱遥感技术已经成功应用于农业监测，环境监测、海洋遥感与军事探索等方面，并均展示了其出色的性能。然而，高光谱的高维特性往往会带来特征冗余以及小样本问题，同时，其复杂的空间特征及光谱特征分布也会给高光谱图像的分类工作带来很大挑战。在早期的高光谱图像分类中，仅利用光谱信息对不同地表覆盖类别进行区分，如线性分类器、k临近分类器、支持向量机等。但这些方法往往面临高光谱图像光谱维的高维特性，为了缓和这一特性，针对光谱维的特征选择和特征提取的方法通常被采用，前者从原始光谱波段中选出一个有效且低冗余的带子集，而后者则是利用一系列线性变化的方法抽象出更具一般性的带子集，如主成分分析法(PCA)、线性判别分析等。随着成像技术的发展，高光谱空间分辨率得以进一步提升，借助于空间相邻像素在光滑的空间域内携带相关信息，基于空谱特征分类方法变成了一种新趋势，如基于多核的分类器、基于稀疏表示的分类器和马尔可夫随机场分类器等。这种空间局部连续性的加入使得HSI的分类性能有了显著的改善，但是上述方法大多基于手工制作的特征，这种手工制作的特征高度依赖个人知识经验，且其表示能力往往不足以区分不同类之间的细微差异，或者同一类之间的较大差异，而高光谱图像存在的光谱空间变异性问题往往又会加重这一缺陷，最终降低分类结果。目前，深度学习已经在高光谱图像分类领域取得了巨大的成功。但是，受高光谱图像训练样本数量的限制，分类模型在向深度进发(或增广宽度)的同时更容易出现过拟合，精度饱和，梯度消失或爆炸的现象，从而导致最终分类精度的下降。在现有的分类算法中，借助于残差网络和inception网络，在付出增加训练参数的代价下，过拟合及梯度消失或爆炸的现象已被很好的缓解，但精度饱和的现象仍是困扰高光谱分类算法的一大问题，造成这一问题的原因之一则是卷积神经网络提取更深层次特征的同时，也会引发空间分辨率下降，进而导致其提取高效判别特征的能力减弱，最终使得分类精度下降。目前主流应对方法有两种，如Li等人结合反卷积与全卷积来增强空间分辨率，而Ma等人提出一种跳跃结构的端到端反卷积网络来学习频谱空间特征。但无论哪种，其分类精度都有进一步提升的空间。
技术实现思路
专利技术目的：本申请的目的在于提供一种基于双路卷积融合神经网络的高光谱图像分类模型，包括双边卷积融合模块和分类模块，双边卷积融合模块包括多个串接的双边融合块；双边融合块包括：最优特征提取模块、最优特征强化模块、空间局部联系性传递模块及特征融合模块；最优特征提取模块包括串接的卷积单元和池化单元，卷积单元的输出连接至空间局部联系性传递模块的输入；池化单元的输出连接至最优特征强化模块的输入；最优特征强化模块和空间局部联系性传递模块的输出共同作为特征融合模块的输入；其中，最优特征提取模块用于根据输入图像提取最优判别特征；最优特征强化模块用于对最优判别特征进行强化，得到强化输出；空间局部联系性传递模块，用于将卷积单元的输出特征传输至特征融合模块，得到传递输出；特征融合模块用于将强化输出和传递输出融合后进一步进行特征提取，得到双边融合块的特征提取输出。进一步地，卷积单元包括依次串接的第一卷积层、对应的批量归一化层和ReLU激活函数；池化单元采用最大池化层。进一步地，最优特征强化模块包括并行的转置卷积块、上采样块，以及将两者输出拼接的结合层；转置卷积块包括转置卷积层及其对应的批量归一化层和ReLU激活函数，用于重构最优判别特征图谱，将接收的特征图放大至输入图像的原有尺寸；上采样块用于利用最优判别特征替换其附近特定范围内的特征信息，强化最优判别特征；转置卷积块与上采样块的输出经结合层拼接后得到强化输出。进一步地，空间局部联系性传递模块包括超链接、1x1卷积以及对应的批量归一化层；超链接经由1x1卷积以及对应的批量归一化层将卷积单元与特征融合模块连接。进一步地，特征融合模块包括依次串接的第二卷积层、对应的批量归一化层、融合层及ReLU激活函数。进一步地，分类模块包括Flatten层、两个全连接层、两个dropout层及softmax分类函数；双边卷积融合模块的输出经由Flatten层压缩至一维，而后传递给全连接层融合所学到的光谱特征，最后利用softmax函数进行目标分类。本申请另一方面提供一种利用上述模型进行高光谱图像分类的方法，包括：(1)数据预处理：采用PCA算法对带标记的高光谱图像进行降维，并利用白化处理使其各个分量之间互不相关；(2)提取原始空谱特征：提取经过PCA白化后的高光谱图像，将待分类像元以及以其为中心的预设数量的邻域像素作为原始空谱特征，得到标记样本集并统计出标记样本的总数；(3)数据划分：从标记样本集中选取预设比例的标记样本作为训练集；(4)训练模型：基于训练集利用训练算法训练上述模型得到训练好的分类模型；(5)利用训练好的分类模型对待测目标高光谱图像进行类别预测，得到分类结果。进一步地，步骤(4)中采用mini-batch训练法，将训练集的样本批量输入待训练的分类模型中，以标记的类别为指导信息，利用梯度下降算法对网络参数进行训练，直至网络训练精度收敛。本申请还提供了一种计算机可读存储介质，介质中存储有计算机可执行指令，指令被执行时用于实现上述分类方法。有益效果：与现有技术相比，本申请提供的模型及分类方法在小样本分类问题下对已提取到的空谱特征信息进行分离提取处理，更为充分的利用了各级特征图，从而获取了更为优质的特征表达，无需过深的或过宽的模型结构即可达到较高的分类结果；通过双层结构使模型保持较高的空间分辨率，克服因卷积神经网络表征分辨率下降而引发的空间敏感判别特征的提取下降问题，提高分类精度。附图说明图1为本申请的高光谱图像分类模型网络结构示意图；图2为分类模型中的双边融合块的结构示意图；图3为本申请的高光谱图像分类方法流程图；图4为IndianPines数据集真实地物图与各类样本总数统计图；图5为利用本申请的模型和方法的IndianPines分类结果图。具体实施方式下面结合附图和实施例对本专利技术做进一步描述：本申请一方面公开了一种基于双路卷积融合神经网络的高光谱图像分类模型，如图1所示，分配模型101包括双边卷积融合模块和分类模块，双边卷积融合模块包括多个串接的双边融合块。如图2所示，双边融合块包括：最优特征提取模块201、最优特征强化模块202、空间局部联系性传递模块203及特征融合模块204。最优特征提取模块201包括串接的卷积单元和池化单元，卷积单元的输出连接至空间局部联系性传递模块2本文档来自技高网...

【技术保护点】
1.一种基于双路卷积融合神经网络的高光谱图像分类模型，其特征在于，包括双边卷积融合模块和分类模块，所述双边卷积融合模块包括多个串接的双边融合块；/n所述双边融合块包括：最优特征提取模块、最优特征强化模块、空间局部联系性传递模块及特征融合模块；/n所述最优特征提取模块包括串接的卷积单元和池化单元，所述卷积单元的输出连接至空间局部联系性传递模块的输入；所述池化单元的输出连接至最优特征强化模块的输入；所述最优特征强化模块和空间局部联系性传递模块的输出共同作为所述特征融合模块的输入；其中，/n所述最优特征提取模块用于根据输入图像提取最优判别特征；/n所述最优特征强化模块用于对所述最优判别特征进行强化，得到强化输出；/n所述空间局部联系性传递模块，用于将所述卷积单元的输出特征传输至所述特征融合模块，得到传递输出；/n所述特征融合模块用于将所述强化输出和所述传递输出融合后进一步进行特征提取，得到所述双边融合块的特征提取输出。/n

【技术特征摘要】
1.一种基于双路卷积融合神经网络的高光谱图像分类模型，其特征在于，包括双边卷积融合模块和分类模块，所述双边卷积融合模块包括多个串接的双边融合块；
所述双边融合块包括：最优特征提取模块、最优特征强化模块、空间局部联系性传递模块及特征融合模块；
所述最优特征提取模块包括串接的卷积单元和池化单元，所述卷积单元的输出连接至空间局部联系性传递模块的输入；所述池化单元的输出连接至最优特征强化模块的输入；所述最优特征强化模块和空间局部联系性传递模块的输出共同作为所述特征融合模块的输入；其中，
所述最优特征提取模块用于根据输入图像提取最优判别特征；
所述最优特征强化模块用于对所述最优判别特征进行强化，得到强化输出；
所述空间局部联系性传递模块，用于将所述卷积单元的输出特征传输至所述特征融合模块，得到传递输出；
所述特征融合模块用于将所述强化输出和所述传递输出融合后进一步进行特征提取，得到所述双边融合块的特征提取输出。


2.根据权利要求1所述的模型，其特征在于，所述卷积单元包括依次串接的第一卷积层、对应的批量归一化层和ReLU激活函数；所述池化单元采用最大池化层。


3.根据权利要求1所述的模型，其特征在于，所述最优特征强化模块包括并行的转置卷积块、上采样块，以及将两者输出拼接的结合层；
所述转置卷积块包括转置卷积层及其对应的批量归一化层和ReLU激活函数，用于重构最优判别特征图谱，将接收的特征图放大至输入图像的原有尺寸；
所述上采样块用于利用最优判别特征替换其附近特定范围内的特征信息，强化最优判别特征；
所述转置卷积块与所述上采样块的输出经所述结合层拼接后得到所述强化输出。


4.根据权利要求1所述的模型，其特征在于，所述空间局部联系性传递模块包括超链接、1x1卷积以及对应的批量...

【专利技术属性】
技术研发人员：高红民，曹雪莹，李臣明，花再军，陈忠昊，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32