一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法技术

本发明专利技术公开了一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法，它由强化学习Q‑learning方法和稀疏深度信念网络模型组成；通过逐层无监督预训练SDBN网络，之后结合强化学习Q‑learning方法对整个网络进行梯度下降训练，调整网络权重，充分考虑样本之间相邻采样点的相关性以及过程数据在时序上的动态性特点，进一步提升模型对过程非线性、动态性数据的特征提取能力，从而提升故障分类的准确度；本发明专利技术可以有效地解决因过程数据的非线性和故障数据动态性等特点导致的故障分类准确率低的问题。

A Fault Classification Model and Method Based on Stacked Sparse Gauss Bernoulli Constrained Boltzmann Machine and Reinforcement Learning

The invention discloses a fault classification model and method based on stacked sparse Gauss Bernoulli restricted Boltzmann machine and reinforcement learning, which is composed of reinforcement learning Q learning method and sparse depth belief network model, through unsupervised layer-by-layer pre-training SDBN network, and then combined with reinforcement learning Q learning method for the whole system. The network carries out gradient descent training, adjusts the weight of the network, fully considers the correlation of adjacent sampling points between samples and the dynamic characteristics of process data in time series, further improves the feature extraction ability of the model for process non-linear and dynamic data, thereby improving the accuracy of fault classification; the invention can be effective. To solve the problem of low accuracy of fault classification caused by the non-linearity of process data and the dynamics of fault data.

【技术实现步骤摘要】
一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法
本专利技术属于工业过程故障诊断和分类领域，涉及一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法。
技术介绍
在过程监测中，当检测到故障发生时，根据异常的过程传感数据，及时准确的识别并判断故障类别，对于保障工业过程的安全运行和产品的优质产出具有至关重要的意义。精确的故障分类可以帮助操作人员进一步定位故障发生的环节和引发故障的过程变量，有助于故障清除和过程恢复，因此故障分类在工业生产中有不容忽视的地位。随着现代工业规模日趋庞大，过程数据也越来越复杂，过程变量之间往往存在较强的非线性关系，传统基于线性假设的建模方法在工业数据的故障分类中往往会造成故障的错分或者无法准确识别故障发生的种类，传统的线性建模因此具有很大的局限性，不再能适应数据特性越趋复杂的实际工业背景。近年来，随着深度学习的方法被广泛的研究和应用，基于神经网络的方法在处理非线性数据上具有优良的表现，其中基于堆叠的受限玻尔兹曼机构成的深度信念网络由于能够针对不同概念的粒度大小进行特征提取，从而在很多领域得到广泛的应用。在传统的深度信念网络的训练过程中，都需要假设数据样本是独立的，即训练需要大量的有标签的数据样本并且样本间相互没有关系。然而由于过程的反馈，自相关的噪声干扰等，导致数据的动态性，也称为自相关性，成为工业过程故障数据不容忽视的重要特征。因此在实际建模中同时也需要一个动态模型来克服数据的动态性问题，有效地引入动态方法对于区分故障是十分有效的。
技术实现思路
针对目前工业过程中有标签样本少、相关性强等问题，本专利技术提出了一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法，该模型和方法将强化学习思想和深度信念网络模型相结合，实现了对工业过程中故障的精确分类。本专利技术具体技术方案如下：一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型，其特征在于，所述的堆叠稀疏高斯伯努利受限玻尔兹曼机模型分为四层，第一层为输入层，第二、三层为隐藏层，第四层为类别层，其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机，即SGRBM，第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机，即SCGRBM，经过堆叠共同构成稀疏深度信念网络；模型相关的参数包括：输入层和隐藏层1的连接权重为W1，隐藏层1和隐藏层2的连接权重为W2，隐藏层2和类别层的连接权重为U，输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c；该模型对应数据的输入变量为X，输出变量为Y；所述的模型训练过程包括预训练和微调两步，其中，所述的预训练的过程如下：应用CD算法更新参数θ1＝{W1，a，b1}，更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛；在SGRBM训练完成后，即可从输入数据中提取出隐藏层1的特征h1＝σ(W1X+b1)，其中，σ(·)表示非线性激活函数；再将提取出来的特征h1作为SCGRBM网络的输入，结合类别标签信息，进行SCGRBM的训练，包括双向吉布斯采样、梯度下降法更新参数并使优化函数满足稀疏性约束条件；所述的微调为通过Q-learning方法对整个稀疏深度信念网络的权重进行微调，过程如下：(1)将输入数据按照采样时间序列化，使相邻样本的采样时间也相邻，假设状态和动作序列是：St＝X1，a1，X2，a2，...，at-1，Xt，其中，Xt表示t时刻下的状态，对应于t时刻下的输入数据，at表示t时刻下采取的动作，对应于t时刻稀疏深度信念网络输出的类别，基于动作at，得到一个对应的奖励rt，rt表示对样本拟合程度；(2)经过轮次t，得到累计奖励为其中T为完成训练的轮次，γ为折扣系数，最大化每个序列轮次的累计奖励，即Q-learning的训练目标，从而实现对整个稀疏深度信念网络的权重的微调，得到训练好的Q-SDBN模型。优选地，其中在提取隐藏层的特征时所用的非线性激活函数σ(·)为sigmoid函数。优选地，所述的稀疏深度信念网络的训练过程中学习率指数衰减的衰减系数为0.01-0.1，隐藏层的稀疏概率值为0.85-0.95，Q-learning的折扣系数为0.95-0.99。一种基于所述的堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型的故障分类方法，其特征在于，该方法包括如下步骤：步骤一：收集历史工业过程的离线数据组成建模用的训练数据集，所述的训练数据集为含有故障类别标签的有标签数据集D＝{(xi，yi)}，其中yi∈{1，2，...，C}，i＝1，2，...，n，n表示有标签数据集的样本个数，C代表类别个数；步骤二：将步骤一中收集到的训练数据集标准化，将过程变量化成均值为0，方差为1的新的数据集并通过one-hot编码将表示类别的标量转化为一维向量；步骤三：将有标签样本集作为输入，对所述的堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型进行训练，从而得到训练好的基于Q-learning方法的稀疏深度信念网络，即Q-SDBN网络；步骤四：收集新的未知故障类别的工业过程数据，将过程变量标准化得到数据集步骤五：将数据集输入到步骤三训练好的Q-SDBN网络中，通过两层隐藏层的特征提取并计算动作值函数，根据最大的动作值函数判断故障的类别。优选地，采用的分类准确率的计算公式为：其中，S为实际标签为该类故障的样本数，CT为实际标签为该类故障的样本被正确分为该类的样本数。本专利技术的有益效果是，本专利技术可以充分考虑样本之间相邻采样点的相关性以及过程数据在时序上的动态性特点，进一步提升模型对过程非线性、动态性数据的特征提取能力，从而有效提升故障分类的精度。附图说明图1是稀疏深度信念网络的其中一个示例的结构示意图；图2是TennesseeEastman(TE)过程流程图；图3是22类测试样本(含正常工况)的真实故障标签示意图；图4是Q-SDBN模型得到的故障分类结果；图5是相同训练和测试数据集下4种不同的网络模型对22类TE过程故障情况(含正常工况)的平均准确率对比图。具体实施方式下面结合具体实施方式对本专利技术基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法作进一步的详述。一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法，其中，所述的堆叠稀疏高斯伯努利受限玻尔兹曼机模型分为四层，第一层为输入层，第二、三层为隐藏层，第四层为类别层，其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机，即SGRBM，第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机，即SCGRBM，经过堆叠共同构成稀疏深度信念网络；模型相关的参数包括：输入层和隐藏层1的连接权重为W1，隐藏层1和隐藏层2的连接权重为W2，隐藏层2和类别层的连接权重为U，输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c；该模型对应数据的输入变量为X，输出变量为Y；所述的基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法建模步骤如下：步骤一：收集历史工业过程的离线数据组成建模用的训练数据集，所述的训练数据集为含有故障类别标签的有标签数据集D＝{(xi，yi)}，其中yi∈{1，2，...，C}，i＝1，2，...本文档来自技高网...

【技术保护点】
1.一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型，其特征在于，所述的堆叠稀疏高斯伯努利受限玻尔兹曼机模型分为四层，第一层为输入层，第二、三层为隐藏层，第四层为类别层，其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机，即SGRBM，第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机，即SCGRBM，经过堆叠共同构成稀疏深度信念网络；模型相关的参数包括：输入层和隐藏层1的连接权重为W1，隐藏层1和隐藏层2的连接权重为W2，隐藏层2和类别层的连接权重为U，输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c；该模型对应数据的输入变量为X，输出变量为Y；所述的模型训练过程包括预训练和微调两步，其中，所述的预训练的过程如下：应用CD算法更新参数θ1＝{W1，a，b1}，更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛；在SGRBM训练完成后，即可从输入数据中提取出隐藏层1的特征h1＝σ(W1X+b1)，其中，σ(·)表示非线性激活函数；再将提取出来的特征h1作为SCGRBM网络的输入，结合类别标签信息，进行SCGRBM的训练，包括双向吉布斯采样、梯度下降法更新参数并使优化函数满足稀疏性约束条件；所述的微调为通过Q‑learning方法对整个稀疏深度信念网络的权重进行微调，过程如下：(1)将输入数据按照采样时间序列化，使相邻样本的采样时间也相邻，假设状态和动作序列是：St＝X1，a1，X2，a2，...，at‑1，Xt，其中，Xt表示t时刻下的状态，对应于t时刻下的输入数据，at表示t时刻下采取的动作，对应于t时刻稀疏深度信念网络输出的类别，基于动作at，得到一个对应的奖励rt，rt表示对样本拟合程度；(2)经过轮次t，得到累计奖励为...

【技术特征摘要】
1.一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型，其特征在于，所述的堆叠稀疏高斯伯努利受限玻尔兹曼机模型分为四层，第一层为输入层，第二、三层为隐藏层，第四层为类别层，其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机，即SGRBM，第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机，即SCGRBM，经过堆叠共同构成稀疏深度信念网络；模型相关的参数包括：输入层和隐藏层1的连接权重为W1，隐藏层1和隐藏层2的连接权重为W2，隐藏层2和类别层的连接权重为U，输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c；该模型对应数据的输入变量为X，输出变量为Y；所述的模型训练过程包括预训练和微调两步，其中，所述的预训练的过程如下：应用CD算法更新参数θ1＝{W1，a，b1}，更新隐藏层偏置b1使之满足稀疏约束条件，不断重复更新θ1和b1直至收敛；在SGRBM训练完成后，即可从输入数据中提取出隐藏层1的特征h1＝σ(W1X+b1)，其中，σ(·)表示非线性激活函数；再将提取出来的特征h1作为SCGRBM网络的输入，结合类别标签信息，进行SCGRBM的训练，包括双向吉布斯采样、梯度下降法更新参数并使优化函数满足稀疏性约束条件；所述的微调为通过Q-learning方法对整个稀疏深度信念网络的权重进行微调，过程如下：(1)将输入数据按照采样时间序列化，使相邻样本的采样时间也相邻，假设状态和动作序列是：St＝X1，a1，X2，a2，...，at-1，Xt，其中，Xt表示t时刻下的状态，对应于t时刻下的输入数据，at表示t时刻下采取的动作，对应于t时刻稀疏深度信念网络输出的类别，基于动作at，得到一个对应的奖励rt，rt表示对样本拟合程度；(2)经过轮次t，得到累计奖励为其中T为完成训练的轮次，γ为折扣系数，最大化每个序列轮次的累计奖励，即Q-learning的训...

【专利技术属性】
技术研发人员：葛志强，孙庆强，杨杰，宋执环，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33