工业过程的多尺度残差卷积与LSTM融合性能评估方法技术

本发明专利技术公开了工业过程的多尺度残差卷积与LSTM融合性能评估方法，包括如下步骤：步骤一、采集多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型，包括残差模块、多尺度残差模块、LSTM模块以及分类模块；步骤三、利用训练集训练模型，以故障类型标签作为所述模型的输出，将输出标签与真实标签的交叉熵作为损失函数，利用优化器进行反向传播，更新整个模型的参数，优化损失函数；步骤四、将测试集输入训练好的模型中，进行故障识别，输出诊断结果。出诊断结果。出诊断结果。

【技术实现步骤摘要】
工业过程的多尺度残差卷积与LSTM融合性能评估方法


[0001]本专利技术属于自动化过程控制领域，特别涉及到一种工业工程的多尺度残差卷积与长短时记忆网络(MRCNN
‑
LSTM)融合故障诊断方法。

技术介绍

[0002]现代工业过程系统是目前社会生产中必不可少的一种基础设备，其对社会的发展和进步起着至关重要的作用。为了提高工业设备的生产效率和减少资源浪费，及时发现并诊断出故障的类型就显得非常的必要。因此，一个好的工业过程故障诊断方法对工业生产具有十分重要的意义。
[0003]现代故障诊断技术的产生对保障工业过程的生产安全，减少资源浪费发挥了重要的作用，其先后发展出了基于模型的方法，基于知识推理的方法和基于数据驱动的方法。基于模型的方法和基于知识推理的方法由于自身的局限性，对当前具有高维性、非线性、间歇性以及动态性等特点的复杂工业过程数据并不能取得令人满意的结果。基于数据驱动的方法由于局限性较小，只依赖于过往的故障数据，因此得到了较好的发展和应用。
[0004]基于数据驱动的方法可以进一步分为基于多元统计的方法、浅层学习方法以及深度学习方法。基于多元统计的方法和浅层学习的方法是工业过程常用的方法之一，但是面对工业数据中的高维性、非线性数据时，并不能取得令人满意的效果。深度学习技术是在浅层学习的基础上发展而来，其摆脱了传统方法需要手工提取特征的繁琐步骤，能够端到端自动的提取原始数据中非线性高维特征，不仅如此，深度学习还解决了浅层学习容易过拟合、陷入局部最优、梯度消散以及泛化能力弱等问题，对非线性、间歇性以及动态性等复杂工业过程也具有较好的诊断精度。
[0005]深度学习相较于传统方法具有巨大的优势，其利用多隐层的网络结构直接对输入的数据样本进行有效分析并提取隐藏的数据特征信息，非常适用于大规模复杂的工业过程数据，是目前故障诊断领域研究的热点。但是不可否认的是，每种深度学习模型都有其自身的优缺点，其整体的诊断精度有待进一步提高。目前基于深度学习的故障诊断方法在工业过程的应用主要存在以下问题：
[0006]当模型深度达到一定层数后，会发生模型退化问题；
[0007]不能有效的提取数据中隐藏的时序性特征；
[0008]不能有效的提取数据不同尺寸的特征。

技术实现思路

[0009]为了解决上述问题，需要提供一种能够克服上述问题的工业过程故障诊断方法。
[0010]本专利技术的目的是针对现有工业过程故障诊断方法中存在的问题，提出了一种能够有效提取数据不同尺寸特征和时序性特征，并且能避免模型退化的融合多尺度残差卷积与LSTM网络的工业过程故障诊断方法。
[0011]本专利技术在传统卷神经网络的基础上，分别构建多尺度卷积神经网络和LSTM网络，
并将残差学习嵌入到模型中。整个模型由残差模块、多尺度残差模块、LSTM模块以及分类模块所组成。
[0012]本专利技术的具体实施步骤包括：
[0013]步骤一、以频率f
s
采集工业过程系统变量的运行数据，建立一个含有多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；
[0014]数据预处理是指对数据集进行离差标准化处理(Min
‑
maxnormalization),该方法可以对采集的原始信号数据集进行线性变化，使数据样本落在[0，1]区间，相关转换函数如下：
[0015][0016]式中min{
·
}表示原始数据中的最小值，max{
·
}表示样本数据中的最大值，x
i
表示样本数据；
[0017]故障样本打标签是指对数据集进行one
‑
hot编码，又称为一位有效编码，其使用N位状态寄存器来对N个故障进行编码，每个故障都有各自独立的寄存器位，且在任意时刻，只有其中一位有效。
[0018]步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型；
[0019]多尺度残差卷积与LSTM网络模型主要由残差模块、多尺度残差模块、LSTM模块以及分类模块所组成，其中：
[0020]残差模块由两个卷积层与BN层叠加组成，卷积层对数据进行卷积运算，采用relu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度,并使用L2正则化技术，其中卷积层的卷积运算如下式所示：
[0021]x
[l]＝f(W
[l]*x
[l
‑
1]+b
[l])
ꢀꢀꢀꢀ
(2)
[0022]式中x
[l]表示第l层的输出，l∈[1，2，
…
,n]，W
[l]表示第l层卷积核，“*”表示卷积运算，b
[l]表示第l层对应的偏置，f(
·
)表示激活函数。
[0023]BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1。相关操作如下：
[0024][0025][0026]式中表示经BN层计算后的输出；y
i
表示输入的特征值；E表示输入特征值的均值；D表示输入特征值得方差；γ和β表示模型中需要训练的参数。
[0027]L2正则化，进一步减少模型的过拟合现象，具体表示如下：
[0028][0029]式中N表示样本数，y
(n)
表示第n个样本的实际标签，n∈[1,2,
…
,N]，x
n
表示第n个样本，θ为其参数，l
p
为范数函数，p∈[1,2]，代表L2范数，λ为正则化系数，f(
·
)为学习的神
经网络，L(
·
)为损失函数；
[0030]残差模块的输出结果输入到最大池化层中，其相关计算如下：
[0031]h＝max(c(t))
ꢀꢀꢀꢀ
(6)
[0032]式中h表示池化层的输出，c(t)表示输入特征中每个神经元的数值集合，t∈[1，2，
…
,n],表示第t个神经元；
[0033]多尺度残差模块分别采用卷积核大小为1
×
1卷积、1
×
3卷积、1
×
5卷积的残差模块并行连接，从而提取输入数据中不同尺寸的特征信息，将提取到的特征数据y1、y2和y3拼接成特征向量y
c
＝[y1，y2，y3]，通过多尺度特征连接模块进行特征融合得到输出特征y，之后输入到LSTM模块；
[0034]LSTM模块由各为两层的LSTM网络、BN层以及最大池化层叠加组成，采用tanh激活函数，输出结果输入到分类模块中，tanh激活函数具体计算公式如下：
[0035][0036]分类模块由多个全连接层与dropout层交替组成，全连接层将卷积网络提取到的局部特征进行展本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.工业过程的多尺度残差卷积与LSTM融合性能评估方法，其特征在于包括如下步骤：步骤一、以频率f
s
采集工业过程系统变量的运行数据，建立一个含有多变量，多类型故障的数据集，并对其进行数据预处理，在此基础上对故障类型进行编号打标签，设置对应的关系，之后对故障类型和标签划分相应的训练集和测试集；步骤二、构建多尺度残差卷积与LSTM网络故障诊断模型，包括残差模块、多尺度残差模块、LSTM模块以及分类模块，具体包括如下步骤：步骤2.1、残差模块包括卷积层和BN层，卷积层对数据进行卷积运算，采用relu激活函数，padding采用same表示填充输入，使得输出与输入具有相同的长度，并使用正则化；BN层对输入数据进行批归一化操作，使得输出数据的均值0，方差为1；残差模块的输出结果输入到最大池化层中；步骤2.2、多尺度残差模块分别采用不同卷积核大小的残差模块并行连接，将提取到的特征数据拼接成特征向量，通过多尺度特征连接模块进行特征融合得到输出特征y，之后输入到LSTM模块；步骤2.3、LSTM模块包括LSTM网络、BN层以及最大池化层，采用激活函数，输出结果输入到分类模块中；步骤2.4、分类模块包括全连接层与dropout层，全连接层将卷积网络提取到的局部特征进行展平加权，输入到dropout层；dropout层以概率p随机丢弃网络中的神经元，加强模型的泛化能力，之后将输出结果输入到分类层；步骤三、利用训练集训练多尺度残差卷积与LSTM网络故障诊断模型，以故障类型标签作为所述模型的输出，将输出标签与真实标签的交叉熵作为损失函数，利用优化器进行反向传播，更新整个模型的参数，优化损失函数；步骤四、将测试集输入训练好的多尺度残差卷积与LSTM网络故障诊断模型中，进行故障识别，输出诊断结果。2.如权利要求1所述的工业过程的多尺度残差卷积与LSTM融合性能评估方法，其特征在于所述步骤2.1中的卷积运算如下：x
[l]
＝f(W
[l]
*x
[l
‑
1]
+b
[l]
)
ꢀꢀꢀꢀ
(2)式中x
[l]
表示第l层的输出，l∈[1，2，
…
,n]，W
[l]
表示第l层卷积核，“*”表示卷积运算，b
[l]
表示第l层对应的偏置，f(
·
)表示激活函数。3.如权利要求1所述的工业过程的多尺度残差卷积与LSTM融合性能评估方法，其特征在于所述步骤2.1中的BN层，具体操作如下：在于所述步骤2.1中的BN层，具体操作如下...

【专利技术属性】
技术研发人员：刘凯，吴锋，张日东，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：