基于深度融合残差网的多光谱图像分类方法技术

本发明专利技术公开了一种基于深度融合残差网的高光谱图像分类方法，克服了现有技术人为选择多种弱分类器和集成方法设计的复杂耗时、计算过程繁琐并且半监督训练方式导致的分类结果存在同物异谱及异物同谱现象的缺点。本发明专利技术实现的步骤是：(1)输入多光谱图像；(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；(3)获得多光谱图像矩阵；(4)获取数据集；(5)搭建深度融合残差网；(6)训练深度融合残差网；(7)对测试数据集进行分类。本发明专利技术具有完备学习多光谱图像特征，过程更加简洁明了，使得分类效果更精确的优点，可用于高光谱图像的分类。

A multi spectral image classification method based on deep fusion residual network

The invention discloses a hyperspectral image classification method based on residual depth fusion network, overcomes the artificial choice of classification results of different weak classifiers and integrated design method is complicated and time-consuming, resulting in complicated computing process and semi supervised training methods have different spectrums and objects with same spectrum shortcomings. The invention comprises the following steps: (1) input multi spectral image; (2) the image of each band of each piece of multispectral image to the target normalized; (3) to obtain the multi spectral image matrix; (4) to obtain data sets; (5) to build deep integration of residual network; (6) the residual network training fusion depth; (7) to classify the test data set. The invention has the advantages of complete learning of multispectral image features, more concise and clear process, and more accurate classification effect, and can be applied to the classification of hyperspectral images.

【技术实现步骤摘要】
基于深度融合残差网的多光谱图像分类方法
本专利技术属于图像处理
，更进一步涉及多光谱图像分类
中的一种基于深度融合残差网多光谱图像分类方法。本专利技术可用于将多光谱图像中包括水域、田地、地物目标等的地物进行分类。
技术介绍
多光谱图像是遥感图像的一种，它是指物体对多个波段电磁波的反射和透射所成的图像，包括可见光、红外线、紫外线、毫米波、X射线、γ射线反射或透射像。多光谱图像分类作为多光谱图像的基础研究，一直是多光谱图像重要的信息获取手段，它的主要目标是根据待测地物的空间几何信息与光谱信息将图像中的每个像素划分为不同的类别。多光谱图像的传统分类方法有很多，但是大多数方法需要针根据图像本身的特点进行人为的设计提取特征信息，比如支持向量机、决策树、最小距离分类、最大似然分类、波谱角分类、混合距离法分类等。而近些年来，深度学习中的卷积神经网络，在图像处理领域表现出强大的特征表征能力，降低了人为设计提取特征的不确定性，减少了工作量。李星等人在其发表的论文“基于集成学习的多光谱遥感图像分类研究”(北方民族大学学报,2016)中提出了一种基于集成学习的多光谱地物分类方法。该方法采用集成学习针对多光谱遥感图像进行分类，选取多分类ECOC框架与二分类算法LogitAdaBoost算法结合的方式将二分类算法扩展成为多分类算法，并将LBPV方法应用在多光谱遥感图像提取上，提取了图像的LBP纹理特征和VAR对比度特征，描述了图像的空间特征。该方法基于集成学习对多光谱遥感图像分类，虽然能得到较好的分类结果。但是，该方法仍然存在的不足之处是，该方法需要选取多种弱分类器来进行集成学习，弱分类器的选取和集成方法的设计依靠人为经验，而且多种分类器的训练复杂并且耗时。河南理工大学在其申请的专利文献“一种基于信息熵的半监督高光谱遥感影像分类方法”(专利申请号：201410668553.4，公开号:104376335A)中提出了一种基于信息熵的半监督高光谱遥感影像分类方法。该方法针对高光谱数据的特点，在选取较少有标记的训练标签的基础上，通过多分类logistic算法，预测出初级分类结果，然后通过renyi熵来衡量影像的能量，选取包含信息量最大的像元补充到训练样本中，再进行预测分类，最终实现高光谱遥感影像分类。该方法虽然用多分类logistic算法，预测出初级分类结果，再对各组数据通过renyi熵来衡量影像的能量，选取包含信息量最大的像元补充到训练样本中，得到最后的分类结果。该方法存在的不足之处是，该方法计算过程繁琐，而且使用半监督聚类方法，导致分类结果存在同物异谱及异物同谱现象，影响分类准确率。
技术实现思路
本专利技术的目的在于克服上述已有技术的不足，提出了一种基于深度融合残差网的多光谱图像分类方法，本专利技术利用深度融合残差网提取特征并且将两个卫星提取的特征向量融合，以提高分类准确率。为实现上述目的，本专利技术的具体步骤如下：(1)输入多光谱图像：输入五个地物目标的多光谱图像，每个地物目标包含两幅多光谱图像，第一幅多光谱图像包含4个时相，每个时相10个波段图像，第二幅多光谱图像包含9个波段图像；(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；(3)获得多光谱图像矩阵：(3a)将第一幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W1i×H1i×C1的五个第一幅多光谱图像矩阵，其中，W1i表示第一幅多光谱图像中每个波段图像的宽度，H1i表示第一幅多光谱图像中每个波段图像的高度，C1表示第一幅多光谱图像的波段数，C1＝10，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；(3b)将第二幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W2i×H2i×C2的五个第二幅多光谱图像矩阵，其中，W2i表示第二幅多光谱图像中每个波段图像的宽度，H2i表示第二幅多光谱图像中每个波段图像的高度，C2表示第二幅多光谱图像的波段数，C2＝9，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；(4)获取数据集：(4a)对前四个地物目标每个地物目标的第一幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D1；(4b)对前四个地物目标每个地物目标的第二幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D2；(4c)对第五个地物目标的第一幅多光谱图像矩阵进行滑窗取块操作，将所有的图像块组成测试数据集T1；(4d)对第五个地物目标的第二幅多光谱图像矩阵进行滑窗取块操作,将所有的图像块组成测试数据集T2；(5)搭建深度融合残差网：(5a)搭建31层深度残差网；(5b)构建深度融合残差网的特征融合层；(5d)在特征融合层之后连接多分类Softmax层，得到深度融合残差网；(6)训练深度融合残差网：(6a)将训练数据集D1输入到深度残差网进行有监督训练；(6b)将训练数据集D2输入到深度残差网进行有监督训练；(6c)融合两次训练所得网络中的特征向量，得到训练好的深度融合残差网；(7)对测试数据集进行分类：(7a)将测试数据集T1输入到训练好的深度融合残差网中，提取特征向量C1；(7b)将测试数据集T2输入到训练好的深度融合残差网中，提取特征向量C2；(7c)将特征向量C1与特征向量C2融合，输入到深度融合残差网中的多分类Softmax层，得到最终分类结果，并计算分类准确率。本专利技术与现有的技术相比具有以下优点：第一，由于本专利技术搭建了深度融合残差网，利用该模型中的深度残差网络提取多光谱图像的特征，是一种自学习的特征提取方法，而且可以完备的提取多光谱图像的特征，特征提取方法没有针对性，可以用于各种多光谱图像的特征提取，克服了现有技术人为选择多种弱分类器和集成方法的设计的复杂耗时的缺点，使得本专利技术具有普适性的优点。第二，由于本专利技术通过训练深度融合残差网，分别对融合残差网中的不同网络进行有监督训练学习不同卫星所拍摄图像的的特征信息，再进行特征向量融合，这样的特征学习步骤简单，克服了现有技术计算过程繁琐并且半监督训练方式导致得分类结果存在同物异谱及异物同谱现象的缺点，使得本专利技术具有可以提取到多方向、多光谱、多时相的多种高层特征信息。附图说明图1为本专利技术的流程图；图2为本专利技术中对待分类图像的人工标记图；图3为用本专利技术对待分类图像的分类结果图。具体实施方式下面结合附图对本专利技术做进一步的描述。参照附图1，对本专利技术的实现的步骤详细描述如下。步骤1，输入多光谱图像。输入五个地物目标的多光谱图像，每个地物目标包含两幅多光谱图像，第一幅多光谱图像包含4个时相，每个时相10个波段的图像，第二幅多光谱图像包含9个波段的图像。步骤2，对每一幅多光谱图像的每个波段的图像去地物目标归一化处理。用五个地物目标的第一幅多光谱图像中，每个波段的图像中的每个像素值，除以五个地物目标各时相该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他像素值不变，得到第一幅多光谱图像中10个波段图像分别归一化后的图像。用五个地物目标的第二幅多光谱图中，每个波段的图像的每个像素值，除以五个地物目标该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他归一化后的像素值不变，得到第二幅多光谱图像中9个本文档来自技高网...

【技术保护点】
一种基于深度融合残差网的多光谱图像分类方法，其特征在于，包括如下步骤：(1)输入多光谱图像：输入五个地物目标的多光谱图像，每个地物目标包含两幅多光谱图像，第一幅多光谱图像包含4个时相，每个时相10个波段图像，第二幅多光谱图像包含9个波段图像；(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；(3)获得多光谱图像矩阵：(3a)将第一幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W1

【技术特征摘要】
1.一种基于深度融合残差网的多光谱图像分类方法，其特征在于，包括如下步骤：(1)输入多光谱图像：输入五个地物目标的多光谱图像，每个地物目标包含两幅多光谱图像，第一幅多光谱图像包含4个时相，每个时相10个波段图像，第二幅多光谱图像包含9个波段图像；(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；(3)获得多光谱图像矩阵：(3a)将第一幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W1i×H1i×C1的五个第一幅多光谱图像矩阵，其中，W1i表示第一幅多光谱图像中每个波段图像的宽度，H1i表示第一幅多光谱图像中每个波段图像的高度，C1表示第一幅多光谱图像的波段数，C1＝10，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；(3b)将第二幅多光谱图像中各波段图像归一化后的图像堆叠，得到大小为W2i×H2i×C2的五个第二幅多光谱图像矩阵，其中，W2i表示第二幅多光谱图像中每个波段图像的宽度，H2i表示第二幅多光谱图像中每个波段图像的高度，C2表示第二幅多光谱图像的波段数，C2＝9，i表示地物目标多光谱图像的序号，i＝1,2,3,4,5；(4)获取数据集：(4a)对前四个地物目标每个地物目标的第一幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D1；(4b)对前四个地物目标每个地物目标的第二幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D2；(4c)对第五个地物目标的第一幅多光谱图像矩阵进行滑窗取块操作，将所有的图像块组成测试数据集T1；(4d)对第五个地物目标的第二幅多光谱图像矩阵进行滑窗取块操作,将所有的图像块组成测试数据集T2；(5)搭建深度融合残差网：(5a)搭建31层深度残差网；(5b)构建深度融合残差网的特征融合层；(5d)在特征融合层之后连接多分类Softmax层，得到深度融合残差网；(6)训练深度融合残差网：(6a)将训练数据集D1输入到深度残差网进行有监督训练；(6b)将训练数据集D2输入到深度残差网进行有监督训练；(6c)融合两次训练所得网络中的特征向量，得到训练好的深度融合残差网；(7)对测试数据集进行分类：(7a)将测试数据集T1输入到训练好的深度融合残差网中，提取特征向量C1；(7b)将测试数据集T2输入到训练好的深度融合残差网中，提取特征向量C2；(7c)将特征向量C1与特征向量C2融合，输入到深度融合残差网中的多分类Softmax层，得到最终分类结果，并计算分类准确率。2.根据权利要求1所述的基于深度融合残差网的多光谱图像分类方法，其特征在于，步骤(2)中所述对每一幅多光谱图像的每个波段的图像去地物目标归一化处理的步骤如下：第一步，用五个地物目标的第一幅多光谱图像中，每个波段的图像中的每个像素值，除以五个地物目标各时相该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他像素值不变，得到第一幅多光谱图像中10个波段图像分别归一化后的图像；第二步，用五个地物目标的第二幅多光谱图中，每个波段的图像的每个像素值，除以五个地物目标该波段图像的像素最大值，得到该波段图像归一化后的像素值，将归一化后像素值小于0时的像素值设置为0，其他归一化后的像素值不变，得到第二幅多光谱图像中9个波段图像归一化后的图像。3.根据权利要求1所述的基于深度融合残差网的多光谱图像分类方法，其特征在于，步骤(4a)中所述对前四个地物目标每个地物目标的第一幅多光谱图像矩阵，进行滑窗取块操作，得到训练数据集D1的具体步骤如下：从前四个地物目标的第一幅...

【专利技术属性】
技术研发人员：焦李成，屈嵘，王美玲，唐旭，杨淑媛，侯彪，马文萍，刘芳，张丹，马晶晶，陈璞花，古晶，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61