一种基于CNN与LSTM的复合恒星光谱分类方法技术

本发明专利技术涉及一种基于CNN与LSTM的复合恒星光谱分类方法，其主要技术特点是：结合卷积神经网络和长短时记忆网络优点新设计出的CNN

【技术实现步骤摘要】
一种基于CNN与LSTM的复合恒星光谱分类方法


[0001]本专利技术属于光谱分类领域，尤其是一种基于CNN与LSTM的复合恒星光谱分类方法。

技术介绍

[0002]恒星光谱分类工作是天文学中很重要的研究领域之一。由于目前科学技术的飞速发展，由各大巡天望远镜收集的恒星光谱数据量已经达到了TB甚至PB的量级，传统的分类方法已经无法满足对这样大的数据量处理需求。面对这种海量的天文光谱数据，如何自动、高效、准确的分类它们是目前的天文学家们所要解决的问题之一。深度学习领域的出现大大解决了这种海量数据的处理问题，帮助天文学家更快更准确的利用这些信息，并快速准确的将这些光谱进行分类，供天文学家进行使用。
[0003]在恒星光谱数据的分类研究方面，很多工作者都使用了一些传统的方法。蔡江辉等利用谓词逻辑的分类规则后处理方法，提高了光谱自动分类的效率，但是分类结果的准确率并没有得到提升。刘杰等将多种聚类算法应用到早M型矮恒星光谱，聚类产生的簇心数据和MK分类吻合很好，但是应用的领域过于局限。Wang等使用受限玻尔兹曼机(RBM)、基于伪逆学习算法的深度神经网络(PILDNN)、将每条光谱作为输入向量时分为4个阶段并基于伪逆学习算法的深度神经网络(PILDNN*)进行了LAMOST中F、G、K三分类的任务，结果较传统机器学习的方法准确率有所提升但没有提升很多。许婷婷等提出一种深度信念网络(DBN)对光谱数据进行分层特征学习，将其应用在F、G、K，3种恒星光谱的分类中，实验说明深度信念网络在综合性能上优于RBM、PILDNN、PILDNN*分类算法，准确率能达到93.03％。
[0004]近些年，卷积神经网络(CNN)在图片分类、图片识别、语音识别等领域有广泛的应用，在特征提取方面具有很强大的优势。由于我们研究的恒星光谱中具有光的流量强度的特征，CNN在光谱分类中的应用渐渐开始出现。
[0005]在使用一维卷积神经网络对光谱进行分类的方面，Liu等提出了一种基于一维恒星光谱卷积神经网络(1D
‑
SSCNN)的恒星光谱分类监督算法提取光谱特征并用于分类，何东远等使用一维卷积神经网络算法对斯隆数字巡天(sloan digital sky survey，SDSS)的恒星光谱进行分类，石超君等人使用一维卷积神经网络的K型和F型恒星光谱分类方法，与支持向量机(SVM)、随机森林(RF)和人工神经网络(ANN)等方法相比，他们的方法获得了更高的分类精度。
[0006]在使用二维卷积神经网络对光谱进行分类的方面，王楠楠等使用经典的二维卷积神经网络的方法对恒星光谱MK系统进行分类，输入数据为一维直接转化为二维的光谱数据，解决了恒星光谱的相近类别的分类，但是实验使用的是光谱数据的截取部分，且实验并没有进行大量光谱多分类的实验。张静敏等人利用短时傅里叶变换将一维光谱变换为二维傅里叶谱图像，然后利用卷积神经网络对得到的二维傅里叶谱图像进行分类，由于二维谱图像具有新的特征分布，提高了分类精度，但是这种将数据转化为图像的方法非常耗时。逯亚坤等人提出了基于光谱仪光纤的蓝端和红端成像的二维恒星光谱数据分类的方法，并提出了特征融合卷积神经网络(FFCNN)分类模型，为恒星光谱的处理提供了新的思路和方法，
但是分类精度不是很高。
[0007]在深度神经网络的模型中，前人使用的深度神经网络模型包括：深度信念网络、一维卷积神经网络、二维卷积神经网络。深度神经网络中还有一类递归神经网络，循环神经网络、长短期记忆网络、门控制循环单元都是典型的递归神经网络。它们是以序列数据为输入的网络模型，在序列的演进方向上进行递归操作并且所有的循环节点都是以链式方式进行连接，同时它们还具有记忆性，参数共享的特点，因此对序列的非线性特征进行学习时具有很大优势。
[0008]由于我们所研究的光谱数据也属于频谱类中的一种，因此采用LSTM网络有可能提取出光谱数据中的远距离前后依赖关系，更深层次的发现每类光谱的细微差异。
[0009]综上所述，我们可以看到CNN和LSTM的优点，所以我们尝试使用深度学习中的CNN与LSTM网络结合设计了一种新的深度模型CNN
‑
LSTM，学习和提取丰富的特征表示范围的恒星光谱。

技术实现思路

[0010]本专利技术的目的在于提高恒星光谱分类工作效率，提供训练时间更少的学习模型。
[0011]本专利技术结合了CNN与LSTM各自的优点，提出了基于CNN与LSTM的复合分类模型对恒星光谱分类的方法。通过与PILDNN、PILDNN*、RBM、Inception v3、DBN、LSTM、1D
‑
SSCNN这些方法的实验结果对比，本专利技术的分类精度有着更高的结果。这种分类方法不仅在恒星光谱分类中拥有更高的准确率，而且为光谱分类工作提供一种新思路，同时应用在恒星光谱分类中能够体现深度学习算法的自动、高效、准确的特点。
[0012]本专利技术解决其技术问题是采取以下技术方案实现的：
[0013]一种基于CNN与LSTM的复合恒星光谱分类方法，包括以下步骤：
[0014]步骤1：从LAMOST DR8数据库中选取带有光谱种类的目标种类恒星光谱实验数据，如G型恒星光谱图像如图1，并将这些数据进行标准化处理。
[0015]步骤2：将取得的恒星光谱数据随机划分为训练集、验证集、测试集。
[0016]步骤3：设计CNN
‑
LSTM复合分类模型，模型的输入层是长度为3700*1的光谱数据，第一个卷积层的卷积核尺寸设置为15*1，滤波器的个数为20个，激活函数使用Relu。第一个最大池化层使用卷积核的尺寸是5*1，滤波器的个数为20个。第二个和第三个卷积层、最大池化层和第一个卷积层池化层配置一样。第四个卷积层的卷积核尺寸设置为6*1，滤波器的个数为15个，激活函数使用Relu。第四个最大池化层使用卷积核的尺寸是3*1，滤波器的个数为15个。紧接着后面设计了一个LSTM层，输出大小为128，激活函数使用的是tanh，为了防止数据过拟合，后面接了一个Dropout函数，配置为0.3。后面设计了一个全连接层包含了1024个神经元，激活函数使用Relu。这里也涉及了一个Dropout函数，配置为0.3。最后的输出层设置3个或10个神经元，用于表示分类的光谱类别的概率，再用Softmax就可以将多分类的输出值转换为范围在[0，1]，和为1的概率。网络设计结构图如图2。
[0017]步骤4：设置模型每次读取的数据样本量batchsize、训练次数Epoch、梯度下降的学习率l。
[0018]步骤5：使用训练集，验证集进行CNN
‑
LSTM复合分类模型训练，并保存训练完成模型的权重。
[0019]步骤6：使用训练完成的模型进行在测试集中测试模型的分类性能。
[0020]进一步，所述步骤1中数据来源于国家天文科学数据中心，从LAMOST DR8中选取了两部分数据。第一部分数据中包含30000条F、G、K三种类型的恒本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CNN与LSTM的复合恒星光谱分类方法，其特征在于包括以下步骤：步骤1：从LAMOST DR8数据库中选取带有光谱种类的目标种类恒星光谱实验数据，如G型恒星光谱图像，并将这些数据进行标准化处理。步骤2：将取得的恒星光谱数据随机划分为训练集、验证集、测试集。步骤3：设计CNN
‑
LSTM复合分类模型，模型的输入层是长度为3700*1的光谱数据，第一个卷积层的卷积核尺寸设置为15*1，滤波器的个数为20个，激活函数使用Relu。第一个最大池化层使用卷积核的尺寸是5*1，滤波器的个数为20个。第二个和第三个卷积层、最大池化层和第一个卷积层池化层配置一样。第四个卷积层的卷积核尺寸设置为6*1，滤波器的个数为15个，激活函数使用Relu。第四个最大池化层使用卷积核的尺寸是3*1，滤波器的个数为15个。紧接着后面设计了一个LSTM层，输出大小为128，激活函数使用的是tanh，为了防止数据过拟合，后面接了一个Dropout函数，配置为0.3。后面设计了一个全连接层包含了1024个神经元，激活函数使用Relu。这里也涉及了一个Dropout函数，配置为0.3。最后的输出层设置3个或10个神经元，用于表示分类的光谱类别的概率，再用Softmax就可以将多分类的输出值转换为范围在[0，1]，和为1的概率。步骤4：设置模型每次读取的数据样本量batchsize、训练次数Epoch、梯度下降的学习率l。步骤5：使用训练集，验证集进行CNN
‑
LSTM复合分类模型训练，并保存训练完成模型的权重。步骤6：使用训练完成的模型进行在测试集中测试模型的分类性能。2.根据权利要求1所述的基于CNN与LSTM的复合恒星光谱分类方法，其特征在于：所述步骤1从LAMOST DR8数据库中选取带有光谱种类的目标种类恒星光谱实验数据，如G型恒星光谱图像，并将这些数据进行标准化处理。为了消除不同光谱的流量强度数值大小相差很大的影响，这里我们引入了Z
‑
Score标准化(zero
‑
mean normalization)方法，它的公式为：式中S
N
＝(S1，S2，
…
，Sn)表示原始恒星光谱数据，S1，S2，
…
，Sn表示给定波长下的流量强度值，S
S
表示归一化后的恒星光谱数据，μ表示S
N
中的流量强度值的平均值，σ表示S
N
中的流量强度值的标准差。Z
‑
Score标准化后的恒星光谱数据具有与原始光谱相同的数量级，并仍然保持了原始光谱数据特征之间的相对大小关系。3.根据权利要求1所述的基于CNN与LSTM的复合恒星光谱分类方法，其特征在于：所述步骤2将取得的恒星光谱数据使用sklearn.model_selection库中的train_test_split()函数随机划分为训练集、验证集、测试集。4.根据权利要求1所述的基于CNN与LSTM的复合恒星光谱分类方法，其特征在于：所述步骤3卷积神经网络是深度学习模型中最典型的模型。它通常由输入层、卷积层、激活函数、最大池化层、全连接层、输出层组成。输入层输入需要处理的数据。卷积层是CNN中的核心组成部分，它可以提取数据中的隐含特征。最大池化层可以挑选不受位置干扰的隐含信息，并对数据进行降维，提高特征提取的感受野。全连接层将提取的特征转化为一维向量，用于后续进行分类。输出层使用Softmax分类器，将多个神经元的输出到[0，1]之间，选取概率最大
的结点作为预测结果。长短期记忆网络(long short
‑
term memory，LSTM)，它是一种在循环神经网络(Rerrent Neural Network，RNN)会出现梯度爆炸、只能提供短时记忆的的缺点上改进的模型。LSTM网络模型设计了三个“门”，它们是输入门、遗忘门、输出门。利用这三个门，可以去保护和控制网络中的细胞状态。输入门用来决定细胞中应该加入哪些新状态。此项设计两部分工作：第一部分工作是通过使用输入门的sigmoid层决定我们要去更新哪些位置上的值，第二部分工作是通过tanh层生成一个候选值组成可加到细胞状态上的向量。输入门状态更新公式：i
t
＝σ(W
i
·
[h
t
‑...

【专利技术属性】
技术研发人员：赵青，李浩，张成奎，张梦祥，孙乐，
申请(专利权)人：天津科技大学，
类型：发明
国别省市：