一种基于LSTM和MLP结合的化工过程故障诊断方法技术

本发明专利技术涉及一种基于LSTM和MLP结合的化工过程故障诊断方法。本发明专利技术首先将原始一维数据通过降维，去掉部分冗余数据点。其次将得到的一维数据输入堆叠的LSTM，提取得到具有时间特性的特征信息。然后通过Flatten层将LSTM的输出数据展开，输入到由全连接层堆叠而成的MLP中。最后由最后一层全连接层中的Softmax分类器进行故障类别的分类。本发明专利技术充分利用了LSTM与MLP网络在时间与空间方面特征提取的优势，在两层LSTM后使用MLP网络去进行整体的特征提取与学习，本发明专利技术运用于非线性、高耦合、时变以及多特征点的化工过程数据，诊断效果较好。

A method of chemical process fault diagnosis based on the combination of LSTM and MLP

【技术实现步骤摘要】
一种基于LSTM和MLP结合的化工过程故障诊断方法
本专利技术涉及化工过程故障诊断方法，特别是一种基于LSTM和MLP结合的化工过程故障诊断方法。
技术介绍
化工是国家发展的基础行业，同时也具有较大的危险性，一旦出现故障，将会造成不可估量的损失，因此能够准确高效的进行化工过程故障诊断是化工行业安全运行平稳发展的基础。随着机器学习与人工智能的迅猛发展，深度学习技术随之诞生，且在图像、文本以及语音等领域广泛运用，深度学习借助其强大的学习能力在故障诊断方面也取得了新的研究进展。不同的网络都有各自不同的优缺点，需要针对对象有目标的搭建合适的深度学习网络模型进行故障诊断。作为典型的深度学习网络，长短期记忆网络(LSTM)和多层感知器(MLP)在故障诊断上的研究取得了一定的进展，且LSTM的长期记忆能力，正好适用于化工过程中非线性、强耦合、高维、时变的数据。
技术实现思路
本专利技术针对现有技术的不足，提供了一种基于LSTM和MLP结合的化工过程故障诊断方法。本专利技术的技术方案：a.将原始一维数据通过降维，去掉部分冗余数据点。b.将得到的一维数据输入堆叠的LSTM，提取得到具有时间特性的特征信息。c.通过Flatten层将LSTM的输出数据展开，输入到由全连接层堆叠而成的MLP中，进行下一阶段的特征提取。d.由最后一层全连接层中的Softmax分类器进行故障类别的分类。本专利技术的有益效果：与传统的故障诊断算法相比，本专利技术不需要人为手动提取特征，也不需要与相关领域的专业知识。与其他深度学习模型相比，卷积网络与单纯的MLP网络，不具备时间记忆功能，只能提取空间特性，循环网络存在比较多的缺陷，而化工过程是一个连续的整体过程，所以存在很大的时间关联性和时变性。本专利技术提出的方法，充分利用了LSTM与MLP网络在时间与空间方面特征提取的优势，先利用LSTM网络进行时间记忆特征信息的学习，由于LSTM计算量大，速度慢，不宜大量堆叠使用，而MLP网络则相对简单，特征学习能力也很强，所以在两层LSTM后便使用MLP网络去进行整体的特征提取与学习，可以针对性的运用于非线性、高耦合、时变以及多特征点的化工过程数据，诊断效果较好。附图说明图1为训练集与测试集准确率；图2为训练集与测试集损失。具体实施方式以下结合附图对本专利技术作进一步说明。一种基于LSTM和MLP结合的故障诊断方法，按下述步骤进行：a.将原始一维数据通过一定技术降维，去掉部分冗余数据点；b.将得到的一维数据输入堆叠的LSTM网络，提取得到具有时间特性的特征信息；c.通过Flatten层将LSTM的输出数据展开，输入到由全连接层堆叠而成的MLP中，进行下一阶段的特征提取；d.由最后一层全连接层中的Softmax分类器进行故障类别的分类。前述的基于LSTM和MLP结合的化工过程故障诊断方法所述步骤b中，在LSTM网络中提取得到具有时间记忆特性的特征信息具体过程如下：LSTM单元包括记忆细胞Ct和三个门限：输入门it、遗忘门ft和输出门ot。当输入序列为xt时，三个门限和记忆细胞的输出如下：其中Whf、Whi、Who、WhC分别表示遗忘门、输入门、输出门、记忆细胞它们与上一隐含层之间的权重矩阵，ht-1为前一时刻单元的输出，Wxf、Wxi、Wxo、WxC分别表示输入与遗忘门、输入门、输出门、记忆细胞之间的权重矩阵，bf、bi、bo、bC分别表示遗忘门、输入门、输出门、记忆细胞的偏置，σ为Sigmoid函数，在本专利技术中此LSTM网络模型由两层LSTM堆叠而成，为了避免过拟合，在每层LSTM网络中加入了随机丢弃机制以及L2正则化。前述的基于LSTM和MLP结合的化工过程故障诊断方法所述步骤c中，在MLP网络中提取特征信息具体如下：在MLP输入层将之前LSTM的输出展开为x1,x2,x3...化为向量X[1]，MLP输入层到下一层之间权重为w1,w2,w3...化为向量W[1],其中1表示MLP第一层的权重，偏置b[1]同理，则第一层的计算为Z[1]＝W[1]X+b[1],之后A[1]＝Sigmoid(Z[1]),其中Z[1]为输入的线性组合，A[1]为Z[1]通过激活函数Sigmoid得到的值，对于MLP第一层的输入为X[1]，输出为A[1]，也就是下一层的输入值，即X[2]＝A[1]，依次类推到下一层，本专利技术MLP网络由五层全连接网络堆叠而成。为了避免出现过拟合，加强模型泛化性能，在每两层全连接层之间加入随机丢弃层，同时在每一个全连接层中加入L2正则化，并且采用he_normal作为权重的初始化方法。前述的基于LSTM和MLP结合的化工过程故障诊断方法所述步骤d中，通过Softmax分类器进行故障类别的分类具体如下：选择Softmax作为最后一层全连接层的激活函数，用于计算样本属于不同类别的概率，对于给定的输入x，利用函数针对于每一类别j估算出概率值p，并最终输出诊断结果。随后Softmax的输出向量[y1,y2,y3...]和样本的实际标签做交叉熵计算，公式如下：其中yi'是实际的标签值，yi为模型诊断结果，之后对输出向量求均值，得到想要的成本函数值，在定义好成本函数后，选择优化算法将成本函数最小化。为了验证本专利技术的有效性，采用田纳西-伊斯曼(TE)过程数据集进行下述实验：数据简介TE过程是由美国Eastman化学公司提出的一个化工仿真过程模型，其中包含41个测量变量和12个控制变量，所有的过程测量值都包含高斯噪声，预设定21种故障，其中16个是已知的，知道故障的具体形式，5个是未知的，不知道故障的具体形式，且故障1至7与过程变量的阶跃变化有关，故障8至12与一些过程变量的可变性有关，故障13是反映动力学中的缓慢漂移，故障14、15、21是与阀粘滞有关。训练集样本与测试集样本的采样间隔都为3分钟，每个故障的训练集由480个样本构成；测试集由960个样本组成，每个预设故障是在160个样本后开始被引入。在此先将所有测试集与训练集数据标注好后随机打乱混合，并选择52个特征点中的46个区分性较强的特征点进行试验，再按照80％和20％的比例重新划分训练集与测试集。激活函数与优化器的选择随着深度学习技术的发展，激活函数一不仅仅是Sigmoid、Tanh等了，专家学者针对于每个激活函数缺陷进行了一定的改进，在此选择运用较为广泛，功能也较为强大的elu作为MLP网络的激活函数。如今现有的优化器也是多样的，也都有各自的优缺点，需要根据实际情况去选择，此试验中选择Adam作为优化器，此优化器功能相对较为强大，运用范围也比较广泛。构建模型此处先使用两层LSTM网络进行特征提取，随后将提取的特征向量输入MLP网络，MLP网络由五层全连接网络构成，且为了避免过拟合，每两层全连接层之间加入随机丢弃层，在LSTM网络中也加入了随机丢弃机制，每一层LSTM网络与全连接网络之中都加入了L2正则化项，采用he_norm本文档来自技高网...

【技术保护点】
1.一种基于LSTM和MLP结合的化工过程故障诊断方法，其特征在于该方法包括以下步骤：/na.将原始一维数据通过降维，去掉部分冗余数据点；/nb.将得到的一维数据输入堆叠的LSTM，提取得到具有时间特性的特征信息；/nc.通过Flatten层将LSTM的输出数据展开，输入到由全连接层堆叠而成的MLP中，进行下一阶段的特征提取；/nd.由最后一层全连接层中的Softmax分类器进行故障类别的分类。/n

【技术特征摘要】
1.一种基于LSTM和MLP结合的化工过程故障诊断方法，其特征在于该方法包括以下步骤：
a.将原始一维数据通过降维，去掉部分冗余数据点；
b.将得到的一维数据输入堆叠的LSTM，提取得到具有时间特性的特征信息；
c.通过Flatten层将LSTM的输出数据展开，输入到由全连接层堆叠而成的MLP中，进行下一阶段的特征提取；
d.由最后一层全连接层中的Softmax分类器进行故障类别的分类。


2.根据权利要求1所述的一种基于LSTM和MLP结合的化工过程故障诊断方法，其特征在于：所述步骤b中，在LSTM中提取得到具有时间记忆特性的特征信息具体过程如下：
LSTM包括记忆细胞Ct和三个门限：输入门it、遗忘门ft和输出门ot；当输入序列为xt时，三个门限和记忆细胞的输出如下：
其中Whf、Whi、Who、WhC分别表示遗忘门、输入门、输出门、记忆细胞与上一隐含层之间的权重矩阵，ht-1为前一时刻单元的输出，Wxf、Wxi、Wxo、WxC分别表示输入与遗忘门、输入门、输出门、记忆细胞之间的权重矩阵，bf、bi、bo、bC分别表示遗忘门、输入门、输出门、记忆细胞的偏置，σ为Sigmoid函数，其中LSTM的网络模型由两层LSTM堆叠而成，在每层LSTM中加入了随机丢弃机制以及L2正则化。


3.根据权利要求1所述的一种基于LSTM和MLP结合的化工过程故障诊断方法，其特征在于...

【专利技术属性】
技术研发人员：王楠，张日东，吴胜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33