基于自适应特征融合残差网的多光谱图像分类方法技术

本发明专利技术公开了一种基于自适应特征融合残差网的多光谱图像分类方法，主要解决现有技术中普适性不高以及不能充分利用多层次特征的问题。本发明专利技术的具体步骤如下：(1)输入多光谱图像；(2)对多光谱图像进行归一化处理；(3)选取训练样本和测试样本；(4)生成训练数据集；(5)搭建基础残差网；(6)搭建自适应特征融合网；(7)生成自适应特征融合残差网；(8)训练自适应特征融合残差网；(9)生成测试数据集；(10)对测试数据集进行分类。本发明专利技术能够自适应地融合多层次的特征，提取判别性更好、语义信息更丰富的特征，具有训练和测试过程简单、充分利用特征的优点。

【技术实现步骤摘要】
基于自适应特征融合残差网的多光谱图像分类方法
本专利技术属于图像处理
，更进一步涉及图像分类
中的一种基于自适应特征融合残差网的多光谱遥感图像分类方法。本专利技术可用于对多光谱遥感图像中的地物进行分类。
技术介绍
深度学习方法在图像处理
表现出强大的特征表征能力，降低了人为设计提取特征的不确定性。深度学习方法主要是通过搭建一个深层的模型，利用该模型提取多光谱遥感图像的深层特征，使用该特征对数据进行分类，但是由于目前所使用的网络层数很多，所提取的特征不能很好地拟合多光谱图像的特性。北京航空航天大学在其申请的专利文献“一种基于光谱与纹理特征的多光谱遥感图像地物分类方法”(专利申请号：201310482404.4，申请公布号：CN103559500A)中提出了一种基于光谱与纹理特征的多光谱遥感图像地物分类方法。该方法的实现步骤为：典型地物样本库的建立、典型地物特征提取与归一化处理、分块的特征选取与规则制定、待分类图像分块处理、支持向量机分类器训练、基于支持向量机的图像块分类和边界块处理；该方法采用四叉树分块技术对图像进行多级分块处理，以图像块的方式提取地物的光谱和纹理特征，其中光谱特征包括各个波段的光谱值、波段间的比值、归一化植被指数、水体指数等，纹理特征包括灰度共生矩的多个统计量(熵、相关性等)和边缘丰度等。该方法存在的不足之处是，在提取地物特征时所使用的光谱和纹理特征是针对实验数据人为设计的，普适性不高，而且训练和测试过程包括对图像进行多级分块处理、提取光谱和纹理两种特征、对图像块进行地物分类、对边缘区域进行处理四部分，训练和测试过程比较复杂，影响多光谱图像分类的效率。西安电子科技大学在其申请的专利文献“基于深度融合残差网的多光谱图像分类方法”(专利申请号：201711144061.5，申请公布号：CN107832797A)中提出了一种基于深度融合残差网的多光谱图像分类方法。该方法实现的步骤是：(1)输入多光谱图像；(2)对每一幅多光谱图像的每个波段的图像去地物目标归一化处理；(3)获得多光谱图像矩阵；(4)获取数据集；(5)搭建深度融合残差网；(6)训练深度融合残差网；(7)对测试数据集进行分类；在对测试数据集进行分类时，分别用深度残差网提取两个数据集的特征，将两个特征融合后进行分类。该方法存在的不足之处是，在用深度残差网提取两个数据集的特征时，忽略了低层特征所包含的语义信息，没有考虑低层特征与高层特征之间的融合，没有充分利用深度残差网中多层次的特征，提取特征的判别性和鲁棒性不好，影响分类准确率。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于自适应特征融合残差网的多光谱图像分类方法。实现本专利技术目的的思路是，构建一个包含基础残差网和自适应特征融合网的自适应特征融合残差网，通过基础残差网提取多层次的特征，利用自适应特征融合网中融合模块，自适应地融合多层次的特征，使提取的特征判别性更好、语义信息更丰富，以提高分类准确率。本专利技术的具体步骤包括如下：(1)输入多光谱图像：输入一幅包含多个通道、多种地物类标的多光谱图像；(2)对多光谱图像进行归一化处理：利用线性归一化法，对多光谱图像的每个通道中每个像素的进行归一化处理，将所有通道的所有像素的归一化值组合，得到归一化后的多光谱图像；(3)选取训练样本和测试样本：从多光谱图像中有地物类标像素的每类中，随机选取4000个像素作为训练样本，将其余有地物类标的像素作为测试样本；(4)生成训练数据集：以每个训练样本为中心，大小为32×32的矩阵窗口，对归一化后的多光谱图像进行切块处理，得到每个训练样本对应的图像块，将所有训练样本对应的图像块组成训练数据集；(5)构建基础残差网：(5a)搭建一个基础残差网，该基础残差网结构依次为：输入层→卷积层→池化层→第一个残差块→第二个残差块→第三个残差块；其中多个残差块生成多层次的特征；(5b)设置各层的参数如下：输入层的特征映射图为3个，卷积层的特征映射图为64个，池化层的特征映射图为256个；(6)构建自适应特征融合网：(6a)搭建一个自适应特征融合网，该自适应特征融合网结构依次为：第一个融合模块→第二个融合模块→卷积层→池化层→全局池化层→全连接层→softmax分类器层；其中，融合模块实现对输入的两个矩阵的融合，该模块为每个矩阵生成一个对应的权重，分别将两个权重与两个矩阵相乘进行加权，将两个加权后的矩阵相加，完成融合过程；(6b)设置各层的参数如下：卷积层的特征映射图为256，池化层的特征映射图为256，全连接层特征映射图设置为100；(7)生成自适应特征融合残差网：将基础残差网中第二个残差块和第三个残差块的输出，作为自适应特征融合网中第一个融合模块的输入，将自适应特征融合网中第一个融合模块的输出和基础残差网中第一个残差块的输出，作为第二个融合模块的输入，使自适应特征融合网自适应地融合基础残差网中多层次的特征；基础残差网和自适应特征融合网中其他层的输入与输出不变，将修改后的基础残差网和自适应特征融合网组成自适应特征融合残差网；(8)训练自适应特征融合残差网：将训练数据集输入到自适应特征融合残差网中进行迭代训练2万次，得到训练好的自适应特征融合残差网；(9)生成测试数据集：以每个测试样本为中心，用大小为32×32的矩阵窗口，对归一化后的多光谱图像进行切块处理，得到每个测试样本对应的图像块，将所有测试样本对应的图像块作为测试数据集；(10)对测试数据集进行分类：(10a)将测试数据集输入到训练好的自适应特征融合残差网，得到最终分类结果；(10b)利用准确率计算公式，计算分类结果的准确率。本专利技术与现有的技术相比具有以下优点：第一，由于本专利技术搭建了自适应特征融合残差网，利用自适应特征融合残差网提取多光谱图像的特征，是一种自学习的特征提取方法，克服了现有技术中人为设计特征造成的普适性不高以及训练和测试过程复杂的缺点，使得本专利技术具有普适性高、训练和测试过程简单的优点。第二，由于本专利技术先后搭建了基础残差网和自适应特征融合网，利用基础残差网提取多层次的特征，根据基础残差网所提取的多层次特征本身的特性，利用自适应特征融合网中的融合模块对多层次的特征进行融合，克服了现有技术中对网络中多层次的特征利用不充分的缺点。附图说明图1是本专利技术的流程图；图2是本专利技术的仿真图。具体实施方式下面结合附图1，对本专利技术做进一步的详细描述。参照附图1，对本专利技术的实现步骤做进一步的详细描述。步骤1.输入多光谱图像。输入一幅包含多个通道、多种地物类标的多光谱图像。步骤2.对多光谱图像进行归一化处理。利用线性归一化法，对多光谱图像的每个通道中每个像素的进行归一化处理，将所有通道的所有像素的归一化值组合，得到归一化后的多光谱图像。所述的线性归一化法的步骤如下。第1步，按照下式，计算多光谱图像每个通道中的每个像素的初步归一化值：其中，yi,j表示多光谱图像第i个通道第j个像素的初步归一化值，xi,j表示多光谱图像中第i个通道的第j个像素值，xmin表示第i个通道中的最小像素值，xmax表示第i个通道中的最大像素值。第2步，按照下式，计算多光谱图像的每个通道中每个像素的归一化值，其中，zk,l表示多光谱图像中第k个通道第l个像素的归一化值，本文档来自技高网...

【技术保护点】
1.一种基于自适应特征融合残差网的多光谱图像分类方法，其特征在于，该方法构建了一个自适应特征融合残差网，利用融合模块，自适应地融合多层次的特征；该方法的具体步骤包括如下：(1)输入多光谱图像：输入一幅包含多个通道、多种地物类标的多光谱图像；(2)对多光谱图像进行归一化处理：利用线性归一化法，对多光谱图像的每个通道中每个像素的进行归一化处理，将所有通道的所有像素的归一化值组合，得到归一化后的多光谱图像；(3)选取训练样本和测试样本：从多光谱图像中有地物类标像素的每类中，随机选取4000个像素作为训练样本，将其余有地物类标的像素作为测试样本；(4)生成训练数据集：以每个训练样本为中心，大小为32×32的矩阵窗口，对归一化后的多光谱图像进行切块处理，得到每个训练样本对应的图像块，将所有训练样本对应的图像块组成训练数据集；(5)构建基础残差网：(5a)搭建一个基础残差网，该基础残差网结构依次为：输入层→卷积层→池化层→第一个残差块→第二个残差块→第三个残差块；其中多个残差块生成多层次的特征；(5b)设置各层的参数如下：输入层的特征映射图为3个，卷积层的特征映射图为64个，池化层的特征映射图为256个；(6)构建自适应特征融合网：(6a)搭建一个自适应特征融合网，该自适应特征融合网结构依次为：第一个融合模块→第二个融合模块→卷积层→池化层→全局池化层→全连接层→softmax分类器层；其中，融合模块实现对输入的两个矩阵的融合，该模块为每个矩阵生成一个对应的权重，分别将两个权重与两个矩阵相乘进行加权，将两个加权后的矩阵相加，完成融合过程；(6b)设置各层的参数如下：卷积层的特征映射图为256，池化层的特征映射图为256，全连接层特征映射图设置为100；(7)生成自适应特征融合残差网：将基础残差网中第二个残差块和第三个残差块的输出，作为自适应特征融合网中第一个融合模块的输入，将自适应特征融合网中第一个融合模块的输出和基础残差网中第一个残差块的输出，作为第二个融合模块的输入，使自适应特征融合网自适应地融合基础残差网中多层次的特征；基础残差网和自适应特征融合网中其他层的输入与输出不变，将修改后的基础残差网和自适应特征融合网组成自适应特征融合残差网；(8)训练自适应特征融合残差网：将训练数据集输入到自适应特征融合残差网中进行迭代训练2万次，得到训练好的自适应特征融合残差网；(9)生成测试数据集：以每个测试样本为中心，用大小为32×32的矩阵窗口，对归一化后的多光谱图像进行切块处理，得到每个测试样本对应的图像块，将所有测试样本对应的图像块作为测试数据集；(10)对测试数据集进行分类：(10a)将测试数据集输入到训练好的自适应特征融合残差网，得到最终分类结果；(10b)利用准确率计算公式，计算分类结果的准确率。...

【技术特征摘要】
1.一种基于自适应特征融合残差网的多光谱图像分类方法，其特征在于，该方法构建了一个自适应特征融合残差网，利用融合模块，自适应地融合多层次的特征；该方法的具体步骤包括如下：(1)输入多光谱图像：输入一幅包含多个通道、多种地物类标的多光谱图像；(2)对多光谱图像进行归一化处理：利用线性归一化法，对多光谱图像的每个通道中每个像素的进行归一化处理，将所有通道的所有像素的归一化值组合，得到归一化后的多光谱图像；(3)选取训练样本和测试样本：从多光谱图像中有地物类标像素的每类中，随机选取4000个像素作为训练样本，将其余有地物类标的像素作为测试样本；(4)生成训练数据集：以每个训练样本为中心，大小为32×32的矩阵窗口，对归一化后的多光谱图像进行切块处理，得到每个训练样本对应的图像块，将所有训练样本对应的图像块组成训练数据集；(5)构建基础残差网：(5a)搭建一个基础残差网，该基础残差网结构依次为：输入层→卷积层→池化层→第一个残差块→第二个残差块→第三个残差块；其中多个残差块生成多层次的特征；(5b)设置各层的参数如下：输入层的特征映射图为3个，卷积层的特征映射图为64个，池化层的特征映射图为256个；(6)构建自适应特征融合网：(6a)搭建一个自适应特征融合网，该自适应特征融合网结构依次为：第一个融合模块→第二个融合模块→卷积层→池化层→全局池化层→全连接层→softmax分类器层；其中，融合模块实现对输入的两个矩阵的融合，该模块为每个矩阵生成一个对应的权重，分别将两个权重与两个矩阵相乘进行加权，将两个加权后的矩阵相加，完成融合过程；(6b)设置各层的参数如下：卷积层的特征映射图为256，池化层的特征映射图为256，全连接层特征映射图设置为100；(7)生成自适应特征融合残差网：将基础残差网中第二个残差块和第三个残差块的输出，作为自适应特征融合网中第一个融合模块的输入，将自适应特征融合网中第一个融合模块的输出和基础残差网中第一个残差块的输出，作为第二个融合模块的输入，使自适应特征融合网自适应地融合基础残差网中多层次的特征；基础残差网和自适应特征融合网中其他层的输入与输出不变，将修改后的基础残差网和自适应特征融合网组成自适应特征融合残差网；(8)训练自适应特征融合残差网：将训练数据集输入到自适应特征融合残差网中进行迭代训练2万次，得到训练好的自适应特征融合残差网；(9)生成测试数据集：以每个测试样本为中心，用大小为32×3...

【专利技术属性】
技术研发人员：焦李成，李玲玲，李阁，冯捷，张丹，尚凡华，刘园园，张梦旋，丁静怡，杨淑媛，侯彪，屈嵘，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61