基于双流条件对抗生成网络的半监督高光谱数据分析方法技术

本发明专利技术涉及一种基于双流条件对抗生成网络的半监督高光谱数据分析方法，包括步骤：S1、获取高光谱样本数据；S2、图像分割，并将每个样本嵌入三维数据块；S3、划分训练样本集和预测样本集，并进行数据预处理，预测样本集也作为无标签样本加入训练；S4、构建基于双流条件对抗生成网络，包括双流结构的生成器网络、判别器网络和回归器网络，用于谱特征与空间形貌特征的提取与融合，所述生成器网络用于生成样本，所述判别器网络用于判别样本的真伪，所述回归器网络用于定量分析回归目标值的回归计算；S5、构建生成器网络、判别器网络和回归器网络的损失函数；S6、训练对抗生成网络；S7、采用训练好的对抗生成网络得到预测样本集的定量分析回归目标值。

【技术实现步骤摘要】
基于双流条件对抗生成网络的半监督高光谱数据分析方法
本专利技术涉及高光谱检测
，尤其是涉及一种基于双流条件对抗生成网络的半监督高光谱数据分析方法。
技术介绍
基于高光谱的定量分析技术的应用场景非常广泛，例如包括食品掺假检测、水果糖度检测、微生物含量检测、有机质含量检测等等。目前常用的高光谱数据定量分析方法包括偏最小二乘回归(PLSR)、最小二乘支持向量机(LS-SVM)、多元线性回归(MLR)等。专利技术人在研究中发现，目前高光谱定量分析方法主要存在两方面的问题：(1)绝大部分定量分析方法都是采用平均光谱进行建模，如PLS和LS-SVM，未能充分利用高光谱数据中包含的空间信息，如何将高光谱数据中的谱特征和空间形貌特征有效地提取和融合，是亟待进一步的研究。(2)现有的高光谱数据分析方法，在实际应用场景中，训练样本数量有限，模型的精度和泛化能力较差。
技术实现思路
有鉴于此，有必要针对上述的问题，提供一种基于双流条件对抗生成网络的半监督高光谱数据分析方法，基于双分支卷积网络的条件对抗生成网络，实现训练数据集的增大，同时实现高光谱数据的谱特征与空间特征提取与融合。一种基于双流条件对抗生成网络的半监督高光谱数据分析方法，包括步骤：S1、获取高光谱样本数据；S2、图像分割，并将每个样本嵌入三维数据块；S3、划分训练样本集和预测样本集，并进行数据预处理，预测样本集也作为无标签样本加入训练；S4、构建基于双流条件对抗生成网络，包括双流结构的生成器网络、判别器网络和回归器网络，用于谱特征与空间形貌特征的提取与融合，所述生成器网络用于生成样本，所述判别器网络用于判别样本的真伪，所述回归器网络用于定量分析回归目标值的回归计算；S5、构建生成器网络、判别器网络和回归器网络的损失函数；S6、训练对抗生成网络；S7、采用训练好的对抗生成网络得到预测样本集的定量分析回归目标值。所述S4中构建基于双流条件对抗生成网络的步骤包括：构建双流生成器网络，其中的一维反卷积分支用于光谱信号的生成，二维反卷积分支用于主成分图像的生成；构建双流判别器网络，其中的一维卷积分支用于光谱特征提取，二维卷积分支用于空间特征提取，输出层将光谱曲线/主成分图像样本对分为三类：①真实标签/真实数据、②伪标签/真实数据、③真实标签/伪数据；构建双流回归器网络，其中的一维卷积分支用于光谱特征提取，二维卷积分支用于空间特征提取，输出层输出回归目标值。所述双流生成器网络的输入由一维分支输入噪声信号n1、二维分支输入噪声信号n2及在[0,1]之间分布的指定标签值组成；所述双流生成器网络一维分支依次由一维标签编码层、一维标签融合层、一维反卷积层组成，其中指定标签值进入标签编码层，变为与输入噪声n1相同维度，再通过级联方式将编码标签与噪声n1融合；一维反卷积层层数为3，前两层一维反卷积层非线性激励函数为ReLU,卷积核厚度为64，最后一层一维反卷积层非线性激励函数为tanh,卷积核厚度为1，通过反卷积层实现2倍上采样；所述双流生成器网络二维分支依次由二维标签编码层、二维标签融合层、二维反卷积层组成，其中指定标签值进入标签编码层，变为与输入噪声n2相同维度，再通过级联方式将编码标签与噪声n2融合；二维反卷积层层数为3，前两层二维反卷积层非线性激励函数为ReLU,卷积核厚度为64，最后一层二维反卷积层非线性激励函数为tanh,卷积核厚度为m，通过反卷积层实现2倍上采样。所述双流判别器网络的输入由平均光谱、前m个主成分图像及对应的样本回归目标标签值组成；所述双流判别器网络一维分支依次由一维标签编码层、一维标签融合层、一维卷积层组成，其中标签值进入标签编码层，变为与平均光谱相同维度，再通过级联方式将编码标签与平均光谱融合；一维卷积层层数为3，非线性激励函数为ReLU，卷积核厚度为16，卷积步长为2从而实现下采样；所述双流判别器网络二维分支依次由二维标签编码层、二维标签融合层、二维卷积层组成，其中标签值进入标签编码层，变为与主成分图像相同尺寸，再通过级联方式将编码标签与主成分图像融合；二维卷积层层数为3，非线性激励函数为ReLU，卷积核厚度为16，卷积步长为2×2从而实现下采样；所述双流判别器网络一维分支与二维分支得到的特征以级联方式融合后进入输出层，空谱联合特征的分布期望值记为ED,spectral_spatialf(x)；判别器的输出为三个节点，非线性激励函数为softmax；输出层将输入样本分为三类，分别是①真实标签/真实数据、②伪标签/真实数据、③真实标签/伪数据；其中真实标签/真实数据为有监督样本及其标签，伪标签/真实数据为无监督样本及由回归器产生的对应伪标签，真实标签/伪数据为生成器生成样本及指定的对应标签。所述双流回归器网络的输入由平均光谱和前m个主成分图像组成；所述双流回归器网络的一维分支依次由三个一维卷积层组成，卷积层非线性激励函数为ReLU，卷积核厚度为16，卷积步长为2，从而实现下采样；所述双流回归器网络二维分支依次由三个二维卷积层组成，卷积层非线性激励函数为ReLU，卷积核厚度为16，卷积步长为2×2，从而实现下采样；所述回归器网络一维分支与二维分支得到的特征以级联方式融合后进入输出层；回归器为单节点输出，输出层非线性激励函数为sigmoid；回归器网络不仅用于有标签样本的拟合训练，还用于无标签样本的伪标签输出。所述S3中数据预处理包括：将三维数据块中的有效像素，即非零像素的光谱进行平均，得到平均光谱作为双流判别器网络与双流回归器网络中一维卷积分支的输入；对三维数据块中的有效像素进行主成分分析，将前m个主成分图像作为双流判别器网络与双流回归器网络中二维卷积分支的输入。所述S5中，包括步骤：所述生成器网络的损失函数为生成伪样本的交叉熵损失函数与特征对抗损失函数之和：所述判别器网络的损失函数为真实有标签样本、真实无标签样本、生成伪样本的交叉熵损失函数及伪样本、真实无标签样本的特征对抗损失函数之和：所述回归器网络的损失函数为真实有标签样本、生成伪样本的均方误差损失函数，真实无标签样本的交叉熵损失函数，及真实无标签样本的特征对抗损失函数之和：生成器的损失函数为生成样本真伪预测值与真伪标签值的交叉熵损失函数及其特征匹配损失函数之和，两者分别为：其中α、β为常系数,为生成器的伪样本真伪标签值，条件生成器希望“欺骗”判别器，令其认为真实标签/伪数据为真实标签/真实数据；为伪样本通过判别器得到的“空谱联合特征”分布期望值，为真实有标签样本通过判别器得到的“空谱联合特征”分布期望值，生成器希望两者尽量接近。判别器的损失函数中真实有标签样本、真实无标签样本、生成伪样本的交叉熵损失函数分别为：其中α′、β′、γ′为常系数，zreal_unsupervise本文档来自技高网...

【技术保护点】
1.一种基于双流条件对抗生成网络的半监督高光谱数据分析方法，其特征在于，所述方法包括步骤：/nS1、获取高光谱样本数据；/nS2、图像分割，并将每个样本嵌入三维数据块；/nS3、划分训练样本集和预测样本集，并进行数据预处理，预测样本集也作为无标签样本加入训练；/nS4、构建基于双流条件对抗生成网络，包括双流结构的生成器网络、判别器网络和回归器网络，用于谱特征与空间形貌特征的提取与融合，所述生成器网络用于生成样本，所述判别器网络用于判别样本的真伪，所述回归器网络用于定量分析回归目标值的回归计算；/nS5、构建生成器网络、判别器网络和回归器网络的损失函数；/nS6、训练对抗生成网络；/nS7、采用训练好的对抗生成网络得到预测样本集的定量分析回归目标值。/n

【技术特征摘要】
1.一种基于双流条件对抗生成网络的半监督高光谱数据分析方法，其特征在于，所述方法包括步骤：
S1、获取高光谱样本数据；
S2、图像分割，并将每个样本嵌入三维数据块；
S3、划分训练样本集和预测样本集，并进行数据预处理，预测样本集也作为无标签样本加入训练；
S4、构建基于双流条件对抗生成网络，包括双流结构的生成器网络、判别器网络和回归器网络，用于谱特征与空间形貌特征的提取与融合，所述生成器网络用于生成样本，所述判别器网络用于判别样本的真伪，所述回归器网络用于定量分析回归目标值的回归计算；
S5、构建生成器网络、判别器网络和回归器网络的损失函数；
S6、训练对抗生成网络；
S7、采用训练好的对抗生成网络得到预测样本集的定量分析回归目标值。


2.根据权利要求1所述的基于双流条件对抗生成网络的半监督高光谱数据分析方法，其特征在于，所述S4中构建基于双流条件对抗生成网络的步骤包括：
构建双流生成器网络，其中的一维反卷积分支用于光谱信号的生成，二维反卷积分支用于主成分图像的生成；
构建双流判别器网络，其中的一维卷积分支用于光谱特征提取，二维卷积分支用于空间特征提取，输出层将光谱曲线/主成分图像样本对分为三类：①真实标签/真实数据、②伪标签/真实数据、③真实标签/伪数据；
构建双流回归器网络，其中的一维卷积分支用于光谱特征提取，二维卷积分支用于空间特征提取，输出层输出回归目标值。


3.根据权利要求2所述的基于双流条件对抗生成网络的半监督高光谱数据分析方法，其特征在于，所述双流生成器网络的输入由一维分支输入噪声信号n1、二维分支输入噪声信号n2及在[0,1]之间分布的指定标签值组成；
所述双流生成器网络一维分支依次由一维标签编码层、一维标签融合层、一维反卷积层组成，其中指定标签值进入标签编码层，变为与输入噪声n1相同维度，再通过级联方式将编码标签与噪声n1融合；一维反卷积层层数为3，前两层一维反卷积层非线性激励函数为ReLU,卷积核厚度为64，最后一层一维反卷积层非线性激励函数为tanh,卷积核厚度为1，通过反卷积层实现2倍上采样；
所述双流生成器网络二维分支依次由二维标签编码层、二维标签融合层、二维反卷积层组成，其中指定标签值进入标签编码层，变为与输入噪声n2相同维度，再通过级联方式将编码标签与噪声n2融合；二维反卷积层层数为3，前两层二维反卷积层非线性激励函数为ReLU,卷积核厚度为64，最后一层二维反卷积层非线性激励函数为tanh,卷积核厚度为m，通过反卷积层实现2倍上采样。


4.根据权利要求2所述的基于双流条件对抗生成网络的半监督高光谱数据分析方法，其特征在于，所述双流判别器网络的输入由平均光谱、前m个主成分图像及对应的样本回归目标标签值组成；
所述双流判别器网络一维分支依次由一维标签编码层、一维标签融合层、一维卷积层组成，其中标签值进入标签编码层，变为与平均光谱相同维度，再通过级联方式将编码标签与平均光谱融合；一维卷积层层数为3，非线性激励函数为ReLU，卷积核厚度为16，卷积步长为2从而实现下采样；
所述双流判别器网络二维分支依次由二维标签编码层、二维标签融合层、二维卷积层组成，其中标签值进入标签编码层，变为与主成分图像相同尺寸，再通过级联方式将编码标签与主成分图像融合；二维卷积层层数为3，非线性激励函数为ReLU，卷积核厚度为16，卷积步长为2×2从而实现下采样；
所述双流判别器网络一维分支与二维分支得到的特征以级联方式融合后进入输出层，空谱联合特征的分布期望值记为ED,spectral_spatialf(x)；判别器的输出为三个节点，非线性激励函数为softmax；输出层将输入样本分为三类，分别是①真实标签/真实数据、②伪标签/真实数据、③真实标签/伪数据；其中真实标签/真实数据为有监督样本及其标签，伪标签/真实数据为无监督样本及由回归器产生的对应伪标签，真实标签/伪数据为生成器生成样本及指定的对应标签。


5.根据权利要求2所述的基于双流条件对抗生成网络的半监督高光谱数据分析方法，其特征在于，所述双...

【专利技术属性】
技术研发人员：刘忆森，周松斌，刘伟鑫，韩威，李昌，胡睿晗，邱泽帆，
申请(专利权)人：广东省智能制造研究所，
类型：发明
国别省市：广东;44