一种基于波段擦除和对比学习的高光谱分类方法技术

本发明专利技术提供了一种基于波段擦除和对比学习的高光谱分类方法。首先采集高光谱数据，进行波段擦除，得到两个去除波段后的高光谱图像，分别进行预处理，得到对比学习网络两个分支的样本补丁；用渐变掩膜对上分支的全部补丁进行覆盖，下分支的补丁不做操作；对两个分支的补丁分别进行随机遮挡，并进行数据增强，得到正样本对；设置超参数，将正样本对输入到对比学习网络，训练完成后保存网络参数及特征；将提取到的特征与标注作为训练集，训练分类器，实现高光谱分类。本发明专利技术将多种适合高光谱数据的数据增强方法结合到对比学习方法，挖掘了对比学习在高光谱领域的潜力，将分类精度提高到了新的级别，能有效实现光谱图像的分类。能有效实现光谱图像的分类。能有效实现光谱图像的分类。

【技术实现步骤摘要】
一种基于波段擦除和对比学习的高光谱分类方法


[0001]本专利技术属于高光谱图像分类领域，更具体地，涉及一种基于波段擦除和对比学习的高光谱分类方法。

技术介绍

[0002]近年来高光谱图像由于蕴含着丰富的光谱和空间信息，得到了越来越广泛的应用。相对于可见光图像或红外图像，高光谱图像具有成百上千个波段，能够以足够的光谱分辨率区分出那些具有诊断性光谱特征的地表物质，在植被调查、大气研究、军事探测和环境监测等方面有着广泛应用。高光谱图像分类是高光谱领域的重要研究方向之一，一般指对单个像素进行分类，单个像素中蕴含着的丰富的光谱信息是分类的主要依据。随着硬件技术进步，高光谱传感器的空间分辨率也越来越高，目标像素周围的空间信息也得到了应用。目前结合光谱特征和空间特征已经成为高光谱图像分类的主流。
[0003]然而高光谱图像波段众多的特点也给分类带来了困难，由于数据规模庞大，如果不经处理直接训练的话，会需要巨大的网络规模和计算机内存，同时较高的光谱分辨率会带来光谱信息的冗余，可以通过降维的方法减少数据规模同时保留关键信息。特征提取是高光谱图像常用的降低数据维度的手段，它是将原始输入的数据维度减少，提取或整理出有效的特征供后续使用。一般的特征提取手段包括PCA、ICA、LDA、MDS等，其中一些算法由于简单高效，仍然被广泛用于高光谱数据的预处理。随着深度学习算法的日益成熟，越来越多的深度学习算法被提出用来提取高光谱图像特征。目前常用的分类手段是先用有监督或无监督的特征提取算法提取到光谱特征或者空谱特征，然后用特征训练分类器。
[0004]较早发展起来的是基于有监督深度学习的特征提取算法。在有监督学习中，卷积神经网络CNN占据了重要的一部分，从只提取光谱特征的一维卷积网络发展到了提取空谱信息的二维卷积网络和三维卷积网络，Roy等人将二维卷积和三维卷积结合提出了HybridSN网络，进一步提高了分类精度。Zhong等人将经典的残差网络引入到高光谱领域，设计了SSRN网络。除了CNN外，DRNN，DFFN等网络也在高光谱分类中取得了一定的效果。
[0005]然而有监督学习往往比较依赖于有标签数据，需要有足够的有标签样本才能够得到较好的训练效果。对于高光谱图像来说，采集和标记数据都需要较大的人力和时间成本，所以近年来特征提取算法的热点逐渐向无监督深度学习发展。无监督学习与监督学习的本质区别是训练数据没有标签，是根据样本间的相似性对样本进行分类，缩小同类数据间的距离，拉远不同类数据间的距离。没有标签的限制，也能够激发模型的潜能，使得模型潜入数据中进行自主的发现和体验，学到更潜在的特征，且训练好的模型会具有更好的鲁棒性和泛化性。
[0006]判别式学习是对条件概率建模，学习不同类别之间的最优边界。对比学习是深度学习中一种典型的判别式学习算法，主要思想是通过对比潜在空间中的正样本和负样本来学习表征。正样本是一对空间上接近但光谱相似的斑块，而负样本是一对光谱上不相似或空间上遥远的斑块。通过最小化正样本之间的距离并最大化负样本之间的距离，模型学习
在潜在空间中编码空间和光谱信息。对比学习在近几年得到了较快的发展，很多对比学习的变体被提出，比如Moco、SimCLR、BYOL、SwAV、SimSiam等，并已逐渐被高光谱领域使用。这些方法在对比损失、编码器架构和训练策略的选择上有所不同。然而，它们都有一个共同的目标，即学习捕捉高光谱数据底层结构的表征。
[0007]对于对比学习来说，在模型不会坍缩的基础上，我们可以加入更多的优化手段来鼓励模型学习到更具代表性的特征。针对高光谱图像的空谱特征，我们常常结合空间信息和光谱信息，放到同一样本中，这样做虽然简单且弥补了原本只有光谱信息的不足，但将一整个样本立方体直接输入到模型，会有较多的冗余信息干扰到特征的提取。也有工作将空间信息和光谱信息的放到不同样本，用跨域对比学习分别提取的。这样处理可以减少大量冗余信息，但也可能会导致丢失一些有价值的次关键信息。如何协调好空间和光谱信息的提取，尽量保留有用信息，同时减少无用信息的干扰，增加模型对关键信息的关注度，是提高对比学习效率的关键所在。

技术实现思路

[0008]针对现有深度学习方法在高光谱图像分类存在依赖于标签数据、分类效果欠佳等问题，本专利技术提出一种基于波段擦除和对比学习的高光谱分类方法来解决这些问题。本专利技术将波段擦除、渐变掩膜、随机遮挡，加入到对比学习结构，提高提取特征的表征性。然后将提取到的特征输入到SVM分类器进行训练，实现较高精度的高光谱分类。
[0009]本专利技术首先提供了一种基于波段擦除和对比学习的高光谱分类方法，其包括以下步骤：
[0010]步骤1，采集高光谱数据；
[0011]步骤2，对原始高光谱数据进行波段擦除，得到两个波段不重复的高光谱数据X0和X1，对两个高光谱数据分别进行预处理，得到对比学习网络两个分支的样本补丁组P0和P1，每个像素对应两个以该像素为中心的补丁，将这两个补丁作为样本对；
[0012]所述的对两个高光谱数据分别进行预处理具体为：对高光谱数据X0和X1分别做主成分分析，分别得到d个主成分图，主成分图边缘用0填充，然后分别用s*s的滑窗以步长1将主成分图划分成样本补丁，得到两组样本补丁组P0和P1，其中，d和s均为预设值，补丁组P0和P1中为一系列s*s*d的三维数据；补丁包含有光谱信息和空间信息，其中光谱信息经过主成分分析被压缩了，中心像素的类别代表整个补丁的类别；
[0013]步骤3，用渐变掩膜对作为对比学习网络上分支的补丁进行覆盖，下分支的补丁不做操作；其中，对比学习网络上分支为在线网络分支，下分支为目标网络分支；
[0014]步骤4，对步骤3处理后的两个分支的补丁分别进行随机遮挡，并进行数据增强，得到正样本对(v
i
,v
i
')；
[0015]步骤5，设置超参数，将所有正样本对输入到对比学习网络进行网络训练，保存训练完成后的网络参数及特征；
[0016]步骤6，将提取到的特征与标注的类别作为训练集，利用训练集对分类器进行训练；
[0017]步骤7；待分类的高光谱数据经步骤2至步骤4处理后，使用训练后的对比学习网络和分类器进行分类。
[0018]优选的，所述的波段擦除为：对原始高光谱数据分别抽取奇数层和偶数层得到波段不重复的两个原始高光谱数据，即得到的两个原始高光谱数据都是从原始高光谱数据擦除一半波段后得到的，而且波段不重复。
[0019]所述的对比学习网络为BYOL网络，BYOL网络的结构分为上分支在线网络和下分支目标网络；
[0020]把(v
i
,v
i
')输入到BYOL网络,其中v
i
输入给在线网络，经过编码器编码得到表征u
i
＝f
online
(v
i
)，经过映射器得到映射z
i
＝g
online
(u
i...

【技术保护点】

【技术特征摘要】
1.一种基于波段擦除和对比学习的高光谱分类方法，其特征在于，包括以下步骤：步骤1，采集高光谱数据；步骤2，对原始高光谱数据进行波段擦除，得到两个波段不重复的高光谱数据X0和X1，对两个高光谱数据分别进行预处理，得到对比学习网络两个分支的样本补丁组P0和P1，每个像素对应两个以该像素为中心的补丁，将这两个补丁作为样本对；所述的对两个高光谱数据分别进行预处理具体为：对高光谱数据X0和X1分别做主成分分析，分别得到d个主成分图，主成分图边缘用0填充，然后分别用s*s的滑窗以步长1将主成分图划分成样本补丁，得到两组样本补丁组P0和P1，其中，d和s均为预设值，补丁组P0和P1中为一系列s*s*d的三维数据；补丁包含有光谱信息和空间信息，其中光谱信息经过主成分分析被压缩了，中心像素的类别代表整个补丁的类别；步骤3，用渐变掩膜对作为对比学习网络上分支的补丁进行覆盖，下分支的补丁不做操作；其中，对比学习网络上分支为在线网络分支，下分支为目标网络分支；步骤4，对步骤3处理后的两个分支的补丁分别进行随机遮挡，并进行数据增强，得到正样本对(v
i
,v
i
')；步骤5，设置超参数，将所有正样本对输入到对比学习网络进行网络训练，保存训练完成后的网络参数及特征；步骤6，将提取到的特征与标注的类别作为训练集，利用训练集对分类器进行训练；步骤7；待分类的高光谱数据经步骤2至步骤4处理后，使用训练后的对比学习网络和分类器进行分类。2.根据权利要求1所述的基于波段擦除和对比学习的高光谱分类方法，其特征在于，所述的波段擦除为：对原始高光谱数据分别抽取奇数层和偶数层得到波段不重复的两个原始高光谱数据，即得到的两个原始高光谱数据都是从原始高光谱数据擦除一半波段后得到的，而且波段不重复。3.根据权利要求1所述的基于波段擦除和对比学习的高光谱分类方法，其特征在于，所述的步骤3具体为：渐变掩膜是一个中心数值最高，越远离中心数值越低的权重矩阵，尺寸为s*s，与补丁尺寸相同；将中心的权值设为1，四个顶点的权值设为0，其他的值根据离中心的距离进行线性插值；公式如下：其中mask为渐变掩膜矩阵，(i，j)为掩膜中元素的位置，(center，center)掩膜中心位置；用渐变掩膜与上分支的补丁P0对应元素相乘后得到加权后的新补丁P0'；下分支的补丁P1不用渐变掩膜做处理。4.根据权利要求1所述的基于波段擦除和对比学习的高光谱分类方法，其特征在于，所述的步骤4的随机遮挡步骤包括如下步骤：4.1)设定遮挡矩形的面积，具体设定为补丁面积的固定占比或者一定范围内的随机
值；4.2)设定长宽比，4.3)计算矩形长宽；4.4)在补丁中随机选择矩形的起始点，用遮挡值替换原来像素上的值。所述遮挡值为设定常数，随机遮挡时需要保留补丁中心的像素以防遮挡关键信息；遮挡是对补丁的每一层同时进行的。5.根据权利要求1所述的基于波段擦除和对比学习的高光谱分类方法，其特征在于，所述的步骤4的数据增强为随机裁剪、色彩畸变、随机翻转、随机灰度、加高斯噪声中的一种或多种。6.根据权利要求1所述的基于波段擦除和对比学习的高光谱分类方法，其特征在于，所述的对比学习网...

【专利技术属性】
技术研发人员：厉小润，黎金辉，陈淑涵，王晶，
申请(专利权)人：浙江大学，
类型：发明
国别省市：