基于生成对抗网络和变分自编码器提高光谱分辨率的方法技术

基于生成对抗网络和变分自编码器提高光谱分辨率的方法，通过提供一种集成网络，以低分辨光谱生成中分辨率光谱，所述集成网络包括基于变分自编码器的退化网络和基于生成对抗网络提出的生成网络；退化网络用于学习由中分辨率光谱退化为低分辨率光谱的退化过程，退化网络学习到的退化过程用于训练生成网络，退化网络采用变分自编码器的Encoder结构，生成网络用于将低分辨率光谱转化为中分辨率光谱，生成网络由生成器和判别器构成。生成器负责用低分辨率光谱生成中分辨率光谱，判别器负责判断生成的中分辨率光谱是否接近真实的中分辨率光谱，生成器和判别器相互博弈，共同训练。共同训练。共同训练。

【技术实现步骤摘要】
基于生成对抗网络和变分自编码器提高光谱分辨率的方法


[0001]本专利技术属于天文领域，特别涉及了一种提高低分辨率光谱至中分辨率光谱的方法。

技术介绍

[0002]在天文领域，光谱是天文学家研究宇宙星体必不可少的工具。光谱是天体的“身份证”，从光谱中可以看到天体的吸收线和发射线。通过这些线的特征以及位置，可以推算出天体的年龄、金属丰度等。郭守敬望远镜(LAMOST)是中国自主研发的光谱获取率最高的望远镜。目前有两个巡天项目，一个是低分辨率光谱巡天，另一个是中分辨率光谱巡天。低分辨率光谱巡天获得低分辨率光谱，这类光谱的特点是可以看到更广的波长范围，但是以牺牲分辨率为代价的。中分辨率光谱巡天获得中分辨率光谱，这类光谱的特点是波长范围比低分辨率光谱的波长范围小，但是它的分辨率很高，可以看到更细节的谱线特征。对于天体子分类，发现特殊天体等问题，中分辨率光谱是一个有利的工具。目前低分辨率光谱的数据量(千万级)远大于中分辨率光谱的数据量(百万级)。从理论上来说，如果可以通过低分辨率光谱生成中分辨率光谱，那么我们就会获得和低分辨率光谱同等数量级的中分辨率光谱数据，这对天文研究来说是非常有价值的。在天文领域中，信号的处理或恢复任务主要是做信号(图像数据等)去模糊或信号去噪(图像数据或一维光谱数据等)工作，类似光谱生成的工作还是空白。所以提供一种能够提高光谱分辨率，即利用低分辨率光谱从而生成中分辨率光谱的方法为现有技术中亟待解决的问题。

技术实现思路

[0003]为了解决背景中指出的问题，本专利技术提供的技术方案为：<br/>[0004]基于生成对抗网络和变分自编码器提高光谱分辨率的方法，通过提供一种集成网络，以低分辨光谱生成中分辨率光谱，所述集成网络包括基于变分自编码器的退化网络和基于生成对抗网络提出的生成网络；
[0005]所述基于变分自编码器的退化网络用于学习由中分辨率光谱退化为低分辨率光谱的退化过程，退化网络学习到的退化过程用于训练生成网络，退化网络采用变分自编码器的Encoder结构，因为Encoder可以实现高维特征向低维特征的转化，所以退化网络可以将中分辨率光谱退化为低分辨率光谱；
[0006]所述基于生成对抗网络的生成网络用于将低分辨率光谱转化为中分辨率光谱，生成网络由生成器和判别器构成。生成器负责用低分辨率光谱生成中分辨率光谱，判别器负责判断生成的中分辨率光谱是否接近真实的中分辨率光谱，生成器和判别器相互博弈，共同训练。
[0007]所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，进一步的，
[0008]所述退化网络是基于Encoder结构并由线性层构成，所述线性层可以感知光谱中的每个特征信息，并且拥有全局感受野，所述线性层的计算公式如下所示，input为线性层
的输入，weights和bias是需要学习的参数，output为线性层的输出：
[0009]output＝input
×
weights+bias
[0010]所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，进一步的，所述生成器由三个部分构成，分别是特征浅提取结构、特征深提取结构以及上采样结构；
[0011]所述生成器的运行包括以下步骤：
[0012]1.1)将低分辨率光谱数据经过四组特征浅提取结构提取四组浅层特征，并将四组浅层特征进行融合得到融合后的特征数据；
[0013]1.2)将步骤1.1)得到的融合后的特征数据经过特征深提取结构提取深层次特征数据；
[0014]1.3)将步骤1.2)得到的深层次特征数据经过上采样结构进行上采样处理，深层次特征数据通过上采样结构最终被映射为中分辨率光谱。
[0015]所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，进一步的，所述特征浅提取结构共有四组，每组拥有不同感受野，特征浅提取结构用于提取光谱特征，每组特征浅提取结构分别对输入的低分辨率光谱数据进行特征提取，每组特征浅提取结构包括卷积归一化模块和下采样模块，所述卷积归一化模块对输入的低分辨率光谱数据进行两次卷积处理，一次归一化处理得到特征数据，下采样模块对特征数据进行下采样处理，并将经过下采样处理的特征数据经过ReLU激活函数处理，最后对四组特征浅提取结构所提取到的四组特征进行特征堆叠融合处理，将融合后的特征数据作为一组浅层特征数据输出；
[0016]所述ReLU激活函数用下式表示：
[0017][0018]所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，进一步的，所述特征深提取结构，由四组卷积模块构成，每个卷积模块分别由卷积层，归一化层，池化层，激活函数构成。特征深提取结构采用四组卷积模块对步骤1.1)输出的融合后的特征数据进行进一步的特征挖掘，最后输出一组由各个卷积模块提取的深层次特征数据。
[0019]所述判别器由三部分构成，分别是全局特征提取器，局部特征提取器和特征融合器。所述判别器的运行包括以下步骤，
[0020]2.1)将步骤1.3)输出的中分辨率光谱数据作为输入数据通过全局特征提取器处理，
[0021]2.2)将步骤1.3)输出的中分辨率光谱数据作为输入数据通过局部特征提取器处理，
[0022]2.3)将步骤2.1)和步骤2.2)得到的特征数据一起通过特征融合器处理，最后输出为1则判定为真，输出为0则判定为假。
[0023]所述步骤2.1)中，所述全局特征提取器由全连接层构成，其可以从全局对中分辨率光谱数据进行特征提取；
[0024]所述步骤2.2)中，所述局部特征提取器由三个卷积特征提取模块和一个卷积层构成，每个卷积特征提取模块分别由卷积层，下采样层和激活函数构成，输入数据依次经过三个卷积特征提取模块和卷积层处理，从局部对中分辨率光谱数据进行特征提取；
[0025]所述步骤2.3)中，所述特征融合器由两个全连接层和激活函数构成，特征融合器
将全局特征提取器和局部特征提取器提取到的特征采用两个全连接层进行特征融合后再以激活函数将结果映射得到0或者1值，用于判断生成的中分辨率光谱是否真实，0值代表生成的中分辨率光谱和真实的中分辨率光谱相似程度很小，1值代表生成的中分辨率光谱和真实的中分辨率光谱相似程度很大；
[0026]所述激活函数为sigmoid函数，可用下式表示：
[0027][0028]所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，进一步，所述集成网络的训练，包括以下步骤：
[0029]S1：对退化网络进行训练：利用标注好的样本(X
i
,Y
i
)进行训练，得到训练好的模型权重参数，其中X
i
表示一个1
×
n的中分辨率光谱，Y
i
表示其对应的1
×
m低分辨率光谱，i代表第i个样本，i＝1,2,3...x，x为训练样本总数；
[0030]S2：对生成网络进行训练，利用标注好的样本(Y
i...

【技术保护点】

【技术特征摘要】
1.基于生成对抗网络和变分自编码器提高光谱分辨率的方法，通过提供一种集成网络，以低分辨光谱生成中分辨率光谱，其特征在于，所述集成网络包括基于变分自编码器的退化网络和基于生成对抗网络提出的生成网络，所述基于变分自编码器的退化网络用于学习由中分辨率光谱退化为低分辨率光谱的退化过程，退化网络学习到的退化过程用于训练生成网络，退化网络采用变分自编码器的Encoder结构；所述基于生成对抗网络的生成网络用于将低分辨率光谱转化为中分辨率光谱，生成网络由生成器和判别器构成。生成器负责用低分辨率光谱生成中分辨率光谱，判别器负责判断生成的中分辨率光谱是否接近真实的中分辨率光谱，生成器和判别器相互博弈，共同训练。2.如权利要求1所述的所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，其特征在于，所述退化网络是基于Encoder结构并由线性层构成，所述线性层可以感知光谱中的每个特征信息，并且拥有全局感受野，所述线性层的计算公式如下所示：output＝input
×
weights+biasinput为线性层的输入，weights和bias是需要学习的参数，output为线性层的输出。3.如权利要求2所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，特征在于，所述生成器由三个部分构成，分别是特征浅提取结构、特征深提取结构以及上采样结构；所述生成器的运行包括以下步骤：1.1)将低分辨率光谱数据经过四组特征浅提取结构提取四组浅层特征，并将四组浅层特征进行融合得到融合后的特征数据；1.2)将步骤1.1)得到的融合后的特征数据经过特征深提取结构提取深层次特征数据；1.3)将步骤1.2)得到的深层次特征数据经过上采样结构进行上采样处理，深层次特征数据通过上采样结构最终被映射为中分辨率光谱。4.如权利要求3所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，进一步的，所述特征浅提取结构共有四组，每组拥有不同感受野，特征浅提取结构用于提取光谱特征，每组特征浅提取结构分别对输入的低分辨率光谱数据进行特征提取，每组特征浅提取结构包括卷积归一化模块和下采样模块，所述卷积归一化模块对输入的低分辨率光谱数据进行两次卷积处理，一次归一化处理得到特征数据，下采样模块对特征数据进行下采样处理，并将经过下采样处理的特征数据经过ReLU激活函数处理，最后对四组特征浅提取结构所提取到的四组特征进行特征堆叠融合处理，将融合后的特征数据作为一组浅层特征数据输出；所述ReLU激活函数用下式表示：5.如权利要求4所述的基于生成对抗网络和变分自编码器提高光谱分辨率的方法，其特征在于，所述特征深提取结构，由四组卷积模块构成，每个卷积模块分别由卷积层，归一化层，池化层，激活函数构成。特征深提取结构采用四组卷积模块对步骤1.1)输出的融合后的特征数据进行进一步的特征挖掘，最后输出一组由各个卷积模块提取的深层次...

【专利技术属性】
技术研发人员：邱波，王坤，赵贵禹，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：