一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法技术

本发明专利技术公开一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法，它由稀疏高斯伯努利受限玻尔兹曼机、长短时记忆循环神经网络、感知器和Softmax输出层组成；稀疏高斯伯努利受限玻尔兹曼机能够从无标签数据中学习数据的非线性特征，循环神经网络可以很好的处理序列数据，采用长短时记忆单元则解决了网络训练过程中出现的梯度消失或梯度爆炸问题，感知器和Softmax输出层增强了网络的有监督分类能力，本发明专利技术的模型具有对非线性数据和动态性数据的优良的特征提取和感知能力，可以有效地解决因过程数据的非线性和故障数据动态性等特点导致的故障分类准确率低的问题。

A Fault Classification Model and Method Based on Sparse Gauss Bernoulli Constrained Boltzmann Machine and Cyclic Neural Network

The invention discloses a fault classification model and method based on sparse Gauss Bernoulli restricted Boltzmann machine and cyclic neural network, which is composed of sparse Gauss Bernoulli restricted Boltzmann machine, long-term and short-term memory cyclic neural network, perceptron and Softmax output layer; sparse Gauss Bernoulli restricted Boltzmann machine can from Learning the non-linear characteristics of data in unlabeled data, cyclic neural network can process sequential data well, adopting long-term and short-term memory unit can solve the problem of gradient disappearance or gradient explosion in the process of network training. Sensor and Softmax output layer enhance the supervised classification ability of network. It has excellent feature extraction and perception ability for non-linear and dynamic data, and can effectively solve the problem of low accuracy of fault classification caused by the non-linear and dynamic characteristics of process data.

【技术实现步骤摘要】
一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法
本专利技术属于工业过程故障诊断和分类领域，涉及一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法。
技术介绍
在过程监测中，当检测到故障发生时，根据异常的过程传感数据，及时准确的识别并判断故障类别，对于保障工业过程的安全运行和产品的优质产出具有至关重要的意义。精确的故障分类可以帮助操作人员进一步定位故障发生的环节和引发故障的过程变量，有助于故障清除和过程恢复，因此故障分类在工业生产中有不容忽视的地位。随着现代工业规模日趋庞大，过程数据也越来越复杂，过程变量之间往往存在较强的非线性关系，导致基于线性假设的传统建模方法在工业数据的故障分类中往往会造成故障的错分或者无法准确识别故障发生的种类，因此具有很大的局限性，不再能适应数据特性越趋复杂的实际工业背景。近年来，随着深度学习的方法被广泛的研究和应用，基于神经网络的方法在处理非线性数据上具有优良的表现，其中稀疏高斯伯努利受限玻尔兹曼机作为生成模型可以从无标签数据中有效地提取训练数据的非线性特征，从而在很多领域得到广泛的应用。在传统的受限玻尔兹曼机的训练过程中，都需要假设数据样本是独立的，然而由于过程的反馈、自相关的噪声干扰等，都会导致数据的动态性(也称为自相关性)。动态性已成为工业过程故障数据不容忽视的重要特征，因此在实际建模中就需要一个动态模型来克服数据的动态性问题，通过在故障分类模型中引入动态方法以期提高故障区分准确性。
技术实现思路
针对目前工业过程中有标签样本少、非线性和动态性强等问题，本专利技术提出了一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法，该方法将稀疏高斯伯努利受限玻尔兹曼机和长短时记忆循环神经网络相结合成为SGRBM-LSTM-RNN网络，实现了对工业过程中故障的精确分类。本专利技术具体技术方案如下：一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型，其特征在于，该模型简称为SGRBM-LSTM-RNN，共分为四部分，第一部分包含k个稀疏高斯伯努利受限玻尔兹曼机网络，即SGRBM，其中k为序列长度，每个SGRBM包含一个输入层和一个隐藏层；第二部分包含k个长短时记忆单元组成的长短时记忆循环神经网络，即LSTM-RNN；第三部分是一个单隐藏层的感知器，第四部分是Softmax网络层；其中第k个长短时记忆单元的隐藏层状态输出至感知器中，再由Softmax网络层输出每个类别的后验概率；模型相关的参数包括输入序列的长度k，SGRBM的输入层和隐藏层的连接权重W1，输入层和隐藏层的偏置a，b1,LSTM-RNN中遗忘门、输入门和输出门的权重和偏置Wf，bf，Wi，bi，Wo，bo，第k个LSTM单元到感知器的隐藏层的权重和偏置W2，b2，感知器的隐藏层到Softmax层的权重和偏置W3，b3；该模型对应数据的输入变量为序列X，输出变量为Y，LSTM-RNN的细胞状态和隐藏层输出分别为C和h；所述的SGRBM-LSTM-RNN模型的训练过程分为三个阶段：(1)SGRBM无监督预训练利用单个采样时刻的无标签数据作为输入，应用对比散度算法更新参数θ1＝{W1，a，b1}，然后更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛，得到预训练完的SGRBM模型；(2)LSTM-RNN、感知器和Softmax层参数初始化采取深度学习Xavier初始化方法对LSTM中遗忘门、输入门和输出门的权重、偏置和感知器、Softmax层的连接权重以及每层的偏置Wf，bf，Wi，bi，Wo，bo，W2，b2，W3，b3进行初始化；(3)SGRBM-LSTM-RNN有监督训练将(1)、(2)得到的参数作为SGRBM-LSTM-RNN的模型参数初值，将序列数据集输入到SGRBM-LSTM-RNN模型中，经过SGRBM和LSTM-RNN的特征编码前向传播至感知器层后获取特征h，再将{(h1，y1)，(h2，y2)，...，(hL，yL)}输入至Softmax网络层中，最小化有监督学习分类误差，相当于最大化如下优化函数：其中，θ代表整个网络的权重和偏置参数，P(·)表示概率；基于优化函数，通过时间反向传播算法对整个SGRBM-LSTM-RNN网络参数进行调整，经多次迭代收敛后得到整个网络最优参数θ*，即获得训练好的SGRBM-LSTM-RNN模型。优选地，所述的长短时记忆单元的个数k为8-10。优选地，所述的LSTM-RNN、感知器和Softmax层参数初始化过程中，采用的是Xavier初始化方法，其目标为使所在层输入维度为ni，输出维度为no的参数满足下式的均匀分布：优选地，所述的SGRBM-LSTM-RNN模型的训练过程中学习率指数衰减的衰减系数为0.01-0.1，SGRBM的隐藏层的稀疏概率值为0.85-0.95。一种基于所述的基于叠稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型的故障分类方法，其特征在于，该方法包括如下步骤：步骤一：收集历史工业过程的离线数据组成建模用的训练数据集，所述的训练数据集为含有故障类别标签的有标签数据集D＝{X，Y}＝{(xi，yi)}，其中yi∈{1，2，...，C}，i＝1，2，...，n，n表示有标签数据集的样本个数，C为故障类别个数；步骤二：将步骤一中收集到的训练数据集标准化，将过程变量化成均值为0，方差为1的新的数据集，并通过one-hot编码将表示类别的标量转化为一维向量，设定序列的长度为k，在每个类别的数据子集中用长度为k的时间窗滑取过程数据，并给定标签数据，从而得到新的序列样本集其中步骤三：首先取有标签样本集Ds的无标签数据作为输入，对SGRBM进行无监督预训练，然后将LSTM-RNN、感知器和Softmax层的参数初始化，最后将整个有标签样本集Ds作为输入，对SGRBM-LSTM-RNN进行有监督训练，采用时间反向传播算法调整整个网络权重，得到训练好的SGRBM-LSTM-RNN网络；步骤四：收集新的未知故障类别的工业过程数据，将过程变量标准化，然后按照离线建模时相同长度的时间窗滑取序列数据，得到新的序列样本集ds；步骤五：将序列样本集ds输入到步骤三训练好的SGRBM-LSTM-RNN网络中，通过网络的前向传播获取LSTM-RNN最后一个长短时记忆单元的隐藏层特征，将其输入感知器和Softmax分类器中，求取每个故障类别的后验概率，根据最大后验概率，实现对于该段序列的故障分类。本专利技术的有益效果是，本专利技术可以获取每个时刻样本的非线性特征同时考虑了相邻时刻样本间的相互影响，进一步提升模型对过程非线性、动态性数据的特征提取能力，从而有效提升故障分类的精度。附图说明图1是基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的一个示例的模型结构示意图；图2是TennesseeEastman(TE)过程流程图；图3是过程数据的序列化操作示意图；图4是22类测试样本(含正常工况)的真实故障标签示意图；图5是SGRBM-LSTM-RNN模型得到的故障分类结果示意图；图6是LSTM-RNN和SGRBM-LSTM-RNN对22类TE过程故障情况(含正常工况)的平均准确率随时间步长变化对比图。具体实施方本文档来自技高网...

【技术保护点】
1.一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型，其特征在于，该模型简称为SGRBM‑LSTM‑RNN，共分为四部分，第一部分包含k个稀疏高斯伯努利受限玻尔兹曼机网络，即SGRBM，其中k为序列长度，每个SGRBM包含一个输入层和一个隐藏层；第二部分包含k个长短时记忆单元组成的长短时记忆循环神经网络，即LSTM‑RNN；第三部分是一个单隐藏层的感知器，第四部分是Softmax网络层；其中第k个长短时记忆单元的隐藏层状态输出至感知器中，再由Softmax网络层输出每个类别的后验概率；模型相关的参数包括输入序列的长度k，SGRBM的输入层和隐藏层的连接权重W1，输入层和隐藏层的偏置a，b1,LSTM‑RNN中遗忘门、输入门和输出门的权重和偏置Wf，bf，Wi，bi，Wo，bo，第k个LSTM单元到感知器的隐藏层的权重和偏置W2，b2，感知器的隐藏层到Softmax层的权重和偏置W3，b3；该模型对应数据的输入变量为序列X，输出变量为Y，LSTM‑RNN的细胞状态和隐藏层输出分别为C和h。所述的SGRBM‑LSTM‑RNN模型的训练过程分为三个阶段：(1)SGRBM无监督预训练利用单个采样时刻的无标签数据作为输入，应用对比散度算法更新参数θ1＝{W1，a，b1}，然后更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛，得到预训练完的SGRBM模型；(2)LSTM‑RNN，感知器和Softmax层参数初始化采取深度学习Xavier初始化方法对LSTM中遗忘门、输入门和输出门的权重、偏置和感知器、Softmax层的连接权重以及每层的偏置Wf，bf，Wi，bi，Wo，bo，W2，b2，W3，b3进行初始化；(3)SGRBM‑LSTM‑RNN有监督训练将(1)、(2)得到的参数作为SGRBM‑LSTM‑RNN的模型参数初值，将序列数据集输入到SGRBM‑LSTM‑RNN模型中，经过SGRBM和LSTM‑RNN的特征编码前向传播至感知器层后获取特征h，再将{(h1，y1)，(h2，y2)，...，(hL，yL)}输入至Softmax网络层中，最小化有监督学习分类误差，相当于最大化如下优化函数：...

【技术特征摘要】
1.一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型，其特征在于，该模型简称为SGRBM-LSTM-RNN，共分为四部分，第一部分包含k个稀疏高斯伯努利受限玻尔兹曼机网络，即SGRBM，其中k为序列长度，每个SGRBM包含一个输入层和一个隐藏层；第二部分包含k个长短时记忆单元组成的长短时记忆循环神经网络，即LSTM-RNN；第三部分是一个单隐藏层的感知器，第四部分是Softmax网络层；其中第k个长短时记忆单元的隐藏层状态输出至感知器中，再由Softmax网络层输出每个类别的后验概率；模型相关的参数包括输入序列的长度k，SGRBM的输入层和隐藏层的连接权重W1，输入层和隐藏层的偏置a，b1,LSTM-RNN中遗忘门、输入门和输出门的权重和偏置Wf，bf，Wi，bi，Wo，bo，第k个LSTM单元到感知器的隐藏层的权重和偏置W2，b2，感知器的隐藏层到Softmax层的权重和偏置W3，b3；该模型对应数据的输入变量为序列X，输出变量为Y，LSTM-RNN的细胞状态和隐藏层输出分别为C和h。所述的SGRBM-LSTM-RNN模型的训练过程分为三个阶段：(1)SGRBM无监督预训练利用单个采样时刻的无标签数据作为输入，应用对比散度算法更新参数θ1＝{W1，a，b1}，然后更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛，得到预训练完的SGRBM模型；(2)LSTM-RNN，感知器和Softmax层参数初始化采取深度学习Xavier初始化方法对LSTM中遗忘门、输入门和输出门的权重、偏置和感知器、Softmax层的连接权重以及每层的偏置Wf，bf，Wi，bi，Wo，bo，W2，b2，W3，b3进行初始化；(3)SGRBM-LSTM-RNN有监督训练将(1)、(2)得到的参数作为SGRBM-LSTM-RNN的模型参数初值，将序列数据集输入到SGRBM-LSTM-RNN模型中，经过SGRBM和LSTM-RNN的特征编码前向传播至感知器层后获取特征h，再将{(h1，y1)，(h2，y2)，...，(hL，yL)}输入至Softmax网络层中，最小化有监督学习分类误差，相当于最大化如下优化函数：其中，θ代表整个网络的权重和偏置参数，P(·)表示概率；基于优化函数，通过时间反向传播算法对整个SGRBM-LSTM-RNN网络参数进行调整，经多次迭代收敛后得到整个网络最优参数θ*，即获得训练好...

【专利技术属性】
技术研发人员：葛志强，孙庆强，杨杰，宋执环，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33