一种基于注意力卷积自编码器的发酵过程故障监测方法技术

本发明专利技术公开了一种基于注意力卷积自编码器的发酵过程故障监测方法。首先将发酵过程的三维数据展开成二维形式，并通过滑动窗采样得到模型的输入序列；之后设计了一种通道卷积注意力模块，并将通道卷积注意力模块融入卷积自编码器中。利用注意力卷积自编码器构建故障监测模型，利用重构误差构建平方预测误差监控统计量实现在线监测，再利用核密度估计方法确定该监控统计量的控制限。测试时先将测试样本进行标准化，然后再输入到模型中，计算出监控统计量的值，并与其控制限进行比较。若未超出控制限则表示系统正常；若超出控制限，则表示出现故障样本。本发明专利技术对故障的发生更加敏感，有利于及时发现故障，减少监测过程中误报警、漏报警现象的发生。报警现象的发生。报警现象的发生。

【技术实现步骤摘要】
一种基于注意力卷积自编码器的发酵过程故障监测方法


[0001]本专利技术属于故障监测
，特别是涉及一种基于数据驱动的发酵过程故障监测技术。本专利技术的方法是在发酵过程故障监测方面的具体应用。

技术介绍

[0002]随着经济的发展和现代工业制造业的升级，工业系统的集成度以及复杂度越来越高，操作条件的任何异常都容易引起过程故障，过程故障一旦发生，将会对最终产品的质量产生影响，很有可能造成重大经济损失，对人身安全也会产生威胁。所以，过程监测技术对提高整个生产过程的安全性和效率至关重要。发酵过程，指的是人们采用一定培养条件、培养设备并借助微生物在有氧或无氧条件下的生命活动，来制造微生物菌体本身、直接代谢产物或次级代谢产物的过程，并在有限的时间内满足质量要求，其一次只能生产一定量的产品，如需要更多的产品，就要重复整个过程。随着生产者对发酵过程产品高纯度、多品种、多规格、功能化等要求越来越高，这使得人们对发酵过程工业生产的要求越来越严格。因此，发酵过程的故障监测已经成为学术界和工业领域的高度关注点。
[0003]目前国内外常见的故障监测方法主要分为三类：基于模型的方法、基于知识的方法和基于数据驱动的方法。基于模型的方法主要是利用先验的物理和数学知识进行过程监控，然而，基于模型的方法的成功在很大程度上取决于良好的过程模型。发酵过程表现出很强的非线性和时变参数，而且在结构上也变得越来越复杂，所以建立精确的模型变成了目前科研界很大的挑战。基于知识的方法主要是收集有关过程性能的可用信息，并通过带标签的有向图进行因果分析，寻找定性或半定量关系。这些技术的主要缺点是它们依赖于人类的洞察力，容易受到外部变化的影响，限制了基于知识方法的具体使用。随着大数据时代的到来，大量的过程数据被记录，基于数据驱动的方法应运而生，通过建立数据驱动模型，就可以实现对发酵过程的故障监测，且不需要理解复杂的机理模型及过程知识。现今最常用的数据驱动方法如多向主成分分析(Multi
‑
way Principal Component Analysis,MPCA)、多向偏最小二乘(Multi
‑
way Partial Least Square,MPLS)，但这些方法仍然属于线性建模方法，不适合发酵过程存在的明显的非线性，所以需要对方法做进一步的修改。核函数的引入可以解决非线性特征带来的问题，但核函数的选择是一个亟待解决的问题，不同的核函数产生的方法性能是不同的，而且核函数的引入也会导致整个算法的运算量大幅度增加。因此，研究者们开始把目光聚焦于其他方法。自编码器(Autoencoder,AE)是一种无监督的神经网络模型，它通过最小化输入数据和输出数据的重构误差来优化模型，并且可以从数据中提取非线性特征。随着机器学习技术的逐渐发展，AE被当作是解决非线性问题的显著替代方案。但AE是直接对输入数据进行整体降维，忽略了局部特征，导致特征提取效率不高。

技术实现思路

[0004]为了克服上述方法的不足，本文提出了一种基于注意力卷积自编码器的
(AttentionConvolutional Autoencoder,ACAE)的发酵过程故障监测方法。卷积自编码器采用卷积神经网络的结构，能够更好地捕捉输入数据的特征信息，从而提取更高级别的特征，提高自编码器的特征学习效率；同时，本专利技术设计了一种通道卷积注意力(Channel Convolutional Attention,CCA)模块，该模块可以从不同尺度提取输入的非线性特征，同时也可以改善模型性能，减少无关信息的干扰，提高模型对有效信息的关注能力；最后，将CCA模块融入到卷积自编码器中，可以有效地捕获输入变量间的非线性关系，很好的提取输入的前期特征，在与卷积自编码器的倒数第二个反卷积层的输出进行特征融合时，注意力机制和卷积自编码器可以共同发挥优势，解决特征提取困难的问题。
[0005]本专利技术采用了如下的技术方案及实现步骤：
[0006]A.离线建模：
[0007]1)利用批次与变量展开相结合的三步展开方法对发酵过程数据进行预处理，具体方法为：采集发酵过程正常工况下的三维历史数据样本，对该三维数据X(I
×
J
×
K)沿批次方向展开为二维时间片矩阵X(I
×
KJ)，其中，I表示批次数量，J表示观测变量个数，K表示每个批次的采样点个数，并对展开后的二维时间片矩阵X(I
×
KJ)沿批次方向对每一列进行标准化处理，标准化公式为：式中，x
i,k,j
表示第i个批次中第k个采样点的第j个观测变量的值，和s
k,j
分别表示在批次方向上的第k个采样点的第j个观测变量的均值和标准方差，其计算公式为：然后将标准化后的二维时间片矩阵X(I
×
KJ)沿变量方向展开为X(KI
×
J)，对展开后的每个批次数据采用窗宽为d的滑动窗进行连续采样，得到模型的输入序列x。
[0008]2)将步骤1中得到的输入序列x输入到本专利技术方法的模型中。该模型选用卷积自编码器作为主干网络，由于发酵过程变量数量有限，因此只在编码单元中使用了3个卷积层，在解码单元中使用了3个反卷积层，这样可以避免使用池化层可能会导致重要特征丢失的问题。卷积层中的计算公式为：h
i
＝σ(∑x
i
⊙
k
′
i
+b
i
）,i＝1,2,3,k
′
i
∈Z，式中，h
i
是第i个卷积层的输出，x
i
是第i个卷积层的输入，k
′
i
是第i个卷积层中卷积核的权重，b
i
是第i个卷积层的偏差，σ是ReLU激活函数。第1个卷积层的输入x1即为模型的输入序列x；反卷积层中的计算公式为：式中，y
i
是第i个反卷积层的输出，d
i
是第i个反卷积层的输入，是卷积层中权重k
′
i
的转置，a
i
是第i个反卷积层的偏差。第1个反卷积层的输入d1即为编码单元的输出h3。通道卷积注意力(CCA)模块是本专利技术方法设计的一种注意力机制模块，该模块可以从不同尺度提取输入的非线性特征，准确的捕获输入变量间的非线性关系。将该模块嵌入到卷积自编码器的编码单元和解码单元之间，并将编码单元第1个卷积层的输出h1作为CCA模块的输入。CCA模块包括两个子模块：分割拼接(SPC)模块和卷积式挤压扩充(CSE)模块。在SPC模块中，首先对输入h1(C
×
H
×
W)按通道方向进行切分，其中，C是输入h1具有的通道个数、H是输入h1的高度(行数)、W是输入h1的宽度(列数)，
[X0,X1,
…
,X
S
‑1]表示被切分的S个部分，每个部分有个通道，通过控制S的取值将C
′
设置为2，这样可以切分出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力卷积自编码器的发酵过程故障监测方法，其包括“离线建模”和“在线监测”两个阶段，其特征在于具体步骤如下：A.离线建模：1)利用批次与变量展开相结合的三步展开方法对发酵过程数据进行预处理，具体方法为：采集发酵过程正常工况下的三维历史数据样本，对该三维数据X(I
×
J
×
K)沿批次方向展开为二维时间片矩阵X(I
×
KJ)，其中，I表示批次数量，J表示观测变量个数，K表示每个批次的采样点个数，并对展开后的二维时间片矩阵X(I
×
KJ)沿批次方向对每一列进行标准化处理，标准化公式为：式中，x
i,k,j
表示第i个批次中第k个采样点的第j个观测变量的值，和s
k,j
分别表示在批次方向上的第k个采样点的第j个观测变量的均值和标准方差，其计算公式为：然后将标准化后的二维时间片矩阵X(I
×
KJ)沿变量方向展开为X(KI
×
J)，对展开后的每个批次数据采用窗宽为d的滑动窗进行连续采样，得到模型的输入序列x；2)将步骤1中得到的输入序列x输入到模型中；该模型选用卷积自编码器作为主干网络，由于发酵过程变量数量有限，因此只在编码单元中使用了3个卷积层，在解码单元中使用了3个反卷积层，这样可以避免使用池化层可能会导致重要特征丢失的问题；卷积层中的计算公式为：h
i
＝σ(∑x
i
⊙
k
′
i
+b
i
),i＝1,2,3,k
′
i
∈Z，式中，h
i
是第i个卷积层的输出，x
i
是第i个卷积层的输入，k
′
i
是第i个卷积层中卷积核的权重，b
i
是第i个卷积层的偏差，σ是ReLU激活函数；第1个卷积层的输入x1即为模型的输入序列x；反卷积层中的计算公式为：式中，y
i
是第i个反卷积层的输出，d
i
是第i个反卷积层的输入，是卷积层中权重k
′
i
的转置，a
i
是第i个反卷积层的偏差；第1个反卷积层的输入d1即为编码单元的输出h3；通道卷积注意力(CCA)模块是本发明方法设计的一种注意力机制模块，该模块可以从不同尺度提取输入的非线性特征，准确的捕获输入变量间的非线性关系；将该模块嵌入到卷积自编码器的编码单元和解码单元之间，并将编码单元第1个卷积层的输出h1作为CCA模块的输入；CCA模块包括两个子模块：分割拼接(SPC)模块和卷积式挤压扩充(CSE)模块；在SPC模块中，首先对输入h1(C
×
H
×
W)按通道方向进行切分，其中，C是输入h1具有的通道个数、H是输入h1的高度(行数)、W是输入h1的宽度(列数)，[X0,X1,
…
,X
S
‑1]表示被切分的S个部分，每个部分有个通道，通过控制S的取值将C
′
设置为2，这样可以切分出更多的部分，从更多的尺度提取输入h1的特征；接下来对每个部分使用不同尺寸的卷积核进行卷积操作，以提取不同尺度特征F
i
，其生成函数为：F
i
＝Conv(1
×
k
i
)(X
i
),i＝0,1,2,
…
,S
‑
1，式中，第i个部分X
i
(C
′×
H
×
W)的卷积核大小k
i
＝2*(i+1)+1,i＝0,1,2,
…
,S
‑
1；CSE模块包含两个卷积层、一个最大池化层、一个全局平均池化层和两个全连接层，将通过SPC模块得到的不同尺度特征F
i...

【专利技术属性】
技术研发人员：高学金，姚玉卓，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：