非平衡高光谱图像分类方法技术

本发明专利技术公开了一种基于深度生成光谱

【技术实现步骤摘要】
非平衡高光谱图像分类方法


[0001]本专利技术属于图像处理
，特别涉及一种非平衡高光谱图像分类方法，可用于矿产勘测，生态监测，智慧农业及医疗诊断。

技术介绍

[0002]高光谱图像的光谱分辨率高，可覆盖可见光、近红外以及短波红外波长范围，通常具有数十至数百个波段。不同物质独特而又精细的光谱信息，使得区分仅仅具有细微差异的土地覆盖类别成为可能，目前在矿产勘测，生态监测，智慧农业，医疗诊断等方面得到了广泛的应用。高光谱图像分类是高光谱图像解译的重要手段之一，致力于将图像中的每一个像素点赋予特定的标签，从而实现对场景的像素级语义解析，可为地物监测、变化检测等更高层次的应用提供有力的支持。
[0003]在实际拍摄的高光谱图像中，不同类别的地物在图像中所占面积比例的差异较大，因此用于训练分类器的样本数据呈现非平衡的分布规律，即有的类别样本数量较大，属于大类别，有的类别样本数量较少，属于小类别。在上述情况下，分类器的训练过程将严重依赖大类别样本的标注信息，而较少关注小类别的样本，导致分类结果偏向于大类别，小类别的分类精度较差。然而，在一个场景中的少数类通常是更有价值的，需要得到高质量的识别率。例如，在植被覆盖场景分类中，人们更关注的珍贵稀有物种通常在图像中只占据少部分像素；在实时分类应用中，森林火灾在初始阶段仅占据图像场景中很小的区域，分类器应尽早准确划分出这一小类别，从而实现及时的防灾减灾。因此，设计非平衡高光谱图像分类方法，具有十分重要的意义和价值。
[0004]传统的用于解决非平衡高光谱图像分类的方法直接对原始样本数据进行重采样，即对小类别和大类别样本分别进行上采样和下采样，使得所有类别的样本数目实现均衡。该方法针对的是相对低维的样本特征，即样本对应的一维光谱曲线，难以处理三维的光谱
‑
空间邻域样本等高维数据。深度学习模型能够由原始数据驱动，有效地将高维数据映射到区分能力更强的低维特征嵌入空间。受此启发，研究人员将重采样策略引入深度学习模型中，通过训练深度网络捕捉嵌入空间中的数据分布，然后以嵌入空间作为桥梁合成新的样本，该类方法统一称为深度生成模型，其中具有代表性的算法是条件变分自编码器和生成对抗网络。条件变分自编码器利用网络提取的隐含特征捕获数据的依赖关系，能够以标签信息作为条件，从学习到的潜在变量分布中生成特定类别的样本，无需复杂的对抗学习过程。然而，如果直接使用条件变分自编码器合成样本，数据的生成和分类是彼此孤立的过程，导致分类效果不佳。此外，条件变分自编码器通常用于生成简单的一维序列信号或二维自然图像，而不是高维的高光谱空谱邻域样本数据，导致丰富的光谱
‑
空间信息无法被充分利用。
[0005]Swalpa Kumar Roy等人在其发表的文章“Generative Adversarial Minority Oversampling for Spectral
‑
spatial Hyperspectral Image Classification”(《IEEE Transactions on Geoscience&Remote Sensing》，2022，60:1
‑
15)中提出了一种基于生成
对抗网络的小类别上采样方法(HyperGAMO)，其用于克服非平衡高光谱分类中存在的问题。该方法设计了一个基于条件生成对抗网络的三维凸包生成器，在小类别样本的深度特征形成的凸包内生成新的样本特征，从而将样本生成和分类的过程以“端到端”的方式实现，降低了深度生成模型用于分类任务的复杂度。尽管如此，该方法仍然存在的缺陷是小类别的凸包与真实的数据分布相差甚远，导致合成样本的有用信息量较少，无法解决小类别样本不足的问题，且分类性能有待进一步的提升。

技术实现思路

[0006]本专利技术的目的是针对上述现有技术的不足，提出一种基于深度生成光谱
‑
空间分类器的非平衡高光谱图像分类方法，以充分利用光谱
‑
空间信息，增强小类样本的质量和数量，提高图像分类效果。
[0007]实现上述目的技术思路是：将数据生成与分类结合为一个统一的过程，通过编码器充分挖掘高光谱图像信息，通过在隐含空间对小类别进行上采样，使生成样本更加贴近真实样本，得到更加准确的数据增强效果，进一步提升分类精度。
[0008]根据上述思路本专利技术的实现步骤包括如下：
[0009]1)获取高光谱图像数据并进行波段选择，按照固定尺寸将波段选择后的高光谱图像分割出光谱
‑
空间特征邻域块，再将其按1：99的比例划分为训练样本和测试样本；
[0010]2)构建非平衡高光谱图像分类网络模型：
[0011]2a)建立由三个三维卷积模块与二维卷积模块级联，并与两个并联的全连接网络级联，之后再级联重参数模块组成了三维编码器；
[0012]2b)在隐含空间设置小类别上采样模块；
[0013]2c)建立由1个全连接层和多个反卷积层构成的三维解码器；
[0014]2d)建立由1个全连接层构成的图像分类器模块；
[0015]2e)将三维编码器与小类别上采样模块级联，将三维解码器与分类器并联，小类别上采样模块的输出同时并行输入三维解码器与分类器，形成非平衡高光谱图像分类网络模型；
[0016]3)对非平衡高光谱图像分类网络模型进行训练：
[0017]3a)构建该网络模型的总体损失函数L
Total
＝λ
·
L
mmd
+L
PdRec
+L
cls
，其中L
mmd
为基于最大化均值差异的正则项损失函数，L
PdRec
为基于邻域距离的重构损失函数，L
cls
为基于交叉熵的分类损失函数，λ为参数；
[0018]3b)初始化非平衡高光谱图像分类网络模型的参数包括三维编码器中的权重参数w、偏置参数b和参数θ＝{θ1,θ2}、三维解码器中的权重参数w、偏置参数b和参数小类样本特征上采样模块中的均值参数和方差参数及分类器参数η；
[0019]3c)将训练样本输入到非平衡高光谱图像分类网络模型，采用梯度下降方法，循环更新非平衡高光谱图像分类网络中的参数，以减小总损失函数的梯度值，直至达到最大迭代次数T为止，得到训练好的非平衡高光谱图像分类网络模型；
[0020]4)将测试样本输入到训练好的非平衡高光谱图像分类网络模型，输出高光谱图像分类结果图。
[0021]本专利技术的有益效果为：
[0022]第一，本专利技术由于构建了包含两阶段的三维编码器、小类别上采样模块、三维解码器和分类器的非平衡高光谱图像分类网络，可使输入数据通过训练后的非平衡高光谱图像分类网络直接得到输出端的结果，避免了人工预处理和后续处理，提高了对高光谱图像的分类速度。
[0023]第二，本专利技术设计的基于邻域距离的重构损失函数，相较于传统的利用欧氏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非平衡高光谱图像的分类方法，其特征在于，包括以下步骤：1)获取高光谱图像数据并进行波段选择，按照固定尺寸将波段选择后的高光谱图像分割出光谱
‑
空间特征邻域块，再将其按1：99的比例划分为训练样本和测试样本；2)构建非平衡高光谱图像分类网络模型：2a)建立由三个三维卷积模块与二维卷积模块级联，并与两个并联的全连接网络级联，之后再级联重参数模块组成了三维编码器；2b)在隐含空间设置小类别上采样模块；2c)建立由1个全连接层和多个反卷积层构成的三维解码器；2d)建立由1个全连接层构成的图像分类器模块；2e)将三维编码器与小类别上采样模块级联，将三维解码器与分类器并联，小类别上采样模块的输出同时并行输入三维解码器与分类器，形成非平衡高光谱图像分类网络模型；3)对非平衡高光谱图像分类网络模型进行训练：3a)构建该网络模型的总体损失函数L
Total
＝λ
·
L
mmd
+L
PdRec
+L
cls
，其中L
mmd
为基于最大化均值差异的正则项损失函数，L
PdRec
为基于邻域距离的重构损失函数，L
cls
为基于交叉熵的分类损失函数，λ为参数；3b)初始化非平衡高光谱图像分类网络模型的参数包括三维编码器中的权重参数w、偏置参数b和参数θ＝{θ1,θ2}、三维解码器中的权重参数w、偏置参数b和参数小类样本特征上采样模块中的均值参数和方差参数及分类器参数η；3c)将训练样本输入到非平衡高光谱图像分类网络模型，采用梯度下降方法，循环更新非平衡高光谱图像分类网络中的参数，以减小总损失函数的梯度值，直至达到最大迭代次数T为止，得到训练好的非平衡高光谱图像分类网络模型；4)将测试样本输入到训练好的非平衡高光谱图像分类网络模型，输出高光谱图像分类结果图。2.根据权利要求1所述的方法，其特征在于：所述1)中获取高光谱图像数据并进行波段选择，是利用主成分分析法对高光谱图像进行波段选择处理，实现特征降维，并保留前K个主成分；所述1)中按照固定尺寸将波段选择后的高光谱图像分割出光谱
‑
空间特征邻域块，是采用主成分波段选取样本，每个样本的尺寸为S
×
S
×
K，得到光谱
‑
空间邻域特征，其中S表示邻域的空间大小；所述1)中的训练图像表示为X＝{x1,...x
i
...,x
N
}，训练图像对应的标签为Y＝{y1,...y
i
...,y
N
}，其中x
i
为第i个训练图像，y
i
为第i个标签，i的范围为从1到N，N表示训练图像的数目。3.根据权利要求1所述的方法，其特征在于：所述2a)中三个三维卷积模块，均由卷积层、标准化层和激活层级联组成，该三个卷积层的卷积核分别为(3，3，7)、(3，3，5)和(3，3，3)，该三个标准化层与三个激活层结构相同，其结构为：第一卷积层
‑
>第一标准化层
‑
>第一激活层
‑
>第二卷积层
‑
>第二标准化层
‑
>第二激活层
‑
>第三卷积层
‑
>第三标准化层
‑
>第三激活层。4.根据权利要求1所述的方法，其特征在于：所述2a)中二...

【专利技术属性】
技术研发人员：席博博，李娇娇，刁妍，李云松，刘薇，宋锐，刘松林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：