半监督RSDAE的非线性PLS间歇过程监测方法技术

本发明专利技术涉及一种半监督鲁棒稀疏深度自编码网络(robust sparse deep auto

【技术实现步骤摘要】
半监督RSDAE的非线性PLS间歇过程监测方法


[0001]本专利技术属于工业过程监测
，具体涉及一种半监督RSDAE(robust sparse deep auto
‑
encoder,鲁棒稀疏深度自编码)的非线性PLS(partial least square,偏最小二乘)间歇过程监测方法。

技术介绍

[0002]间歇过程作为一种重要的工业生产方式，在生物制药、食品饮料和精细化工等小批量、高附加值产品生产中得到广泛应用。随着生产规模扩大、产品品种增多以及复杂性增加,间歇过程具有强非线性、多模态特性、产品质量测量代价高和不及时等特征。因此，采用合适的质量软测量工具进行故障检测与诊断方法，保障复杂工业过程安全运行及产品质量平稳，已经逐渐成为过程控制领域研究的重要问题[参考文献1
‑
5]。
[0003]针对间歇过程监测与质量预测，很多学者提出回归模型，比如偏最小二乘(partial least squares,PLS)、规范变量分析(canonical variate analysis,CVA)、多线性回归(Multiple linear regression，MLR)、主成分回归(principal component regression,PCR)等质量相关的过程监测技术[参考文献6
‑
11]。这些方法通过易于测量的过程变量监测质量变量的波动，更有助于对产品质量指标的波动进行实时、在线监控和预测。PLS从高维数据中抽取少量隐藏变量解释与质量相关的问题，能够消除过程数据和质量数据中的噪声，提高过程监测的准确性。PLS可以实现多种数据分析方法的综合应用,可以集MLR、CVA与PCA的基本功能于一体，基于PLS及其相关扩展模型的质量相关故障检测与诊断技术成为化工、冶金、食品等领域中最常用的方法[参考文献3,5,6,8,12,13]。为解决质量预测的非线性问题，参考文献[3]提出了一种自适应KPLS(Kernel PLS，KPLS),通过引入核函数使得输入数据线性可分，提高了与质量相关故障的监控效果；参考文献[8]提出带有改进贡献率的核PLS的炼铁高炉质量预测；为降低冗余特征对质量预测的影响，参考文献[13]提出一种特征选取KMPLS，提高了预测精度。虽然PLS以及扩展算法在处理数据隐藏特征抽取、非线性数据建模以及数据不确定数据描述方面取得一些进展，成为化工、冶金等多领域故障监测、软测量建模的有力工具，然而PLS及其扩展方法仍然存在如下问题：(1)工业过程复杂的过程变量具有强耦合性、非线性和稀疏性，存在大量质量无关的冗余过程变量，现有的KPLS本质上是一种单隐层非稀疏数据特征抽取方法，限制了KPLS性能的提高；(2)核函数类型和参数选取影响KPLS模型性能，核函数参数选取仍然依赖先验知识，难以保证KPLS性能；(3)数据离群点极大地影响PLS以及KPLS模型性能，亟需提高模型的鲁棒性；(4)目前工业过程质量数据获取代价较大导致标记数据样本数量远小于过程数据样本，而大多数PLS以及扩展算法难以利用未标记样本信息。据我们所知，目前还没有完全考虑上述问题的改进非线性PLS算法，PLS扩展算法往往只考虑其中一个或者两个问题。比如在概率框架下的鲁棒PPLS、半监督PPLS均为线性模型[参考文献14,15]，使用混合建模思想的混合PPLS解决非线性问题。非概率框架下的PLS以及扩展算法在上述方面研究还比较薄弱。
[0004]深度学习能够自适应地从复杂故障数据提取信息丰富、强判别能力的深度特征，
在故障诊断、软测量等领域显著提高识别和预测精度[参考文献16
‑
19]。深度学习模仿人脑的机制对多源异类数据进行解释，减少对先验知识和信号处理技术的依赖，降低人工提取特征导致的不完整性和不确定性。与比浅层网络特征抽取相比，多层架构的深度学习构建含有多个隐含层的深层模型，使用非线性映射进行多级抽象获取更深层次特征表示，更精准描述复杂高维数据分布，能够很好表征过程数据与质量数据/故障状态之间的复杂映射关系。深度自编码器(deep auto
‑
encoder,DAE)是一种常用深度学习算法，其中，编码被称为数据隐藏压缩表示，不同故障激活相应的隐藏节点。对于复杂非线性过程数据，DAE模型可以表达任意复杂函数，能够学习局部
‑
整体关系，即浅层表征过程全局状态信息，深层融合过程全局信息和工况内局部信息刻画过程高级抽象信息[参考文献20
‑
22]。现有DAE模型往往基于重构误差均方最小准则调整模型参数，对在野点数据鲁棒性能不高。另外，目前常用的机器学习方法如支持向量机(support vector machine)、KPCA、KPLS、核Fisher鉴别分析(kernel Fisher discriminant analysis,KFDA)、前向传播神经网络(BPNN)均为单层特征抽取方法，对复杂数据特征抽取方面还存在一定的不足、难以解释异常现象。

技术实现思路

[0005]本专利技术的目的在于：针对上述现有技术存在的不足，设计一种半监督RSDAE的非线性PLS间歇过程监测方法。
[0006]本专利技术提出一种半监督鲁棒稀疏深度自编码的非线性PLS(robust semi
‑
supervised sparse deep auto
‑
encoder
‑
based nonlinear partial least squares,RSDAE
‑
NPLS)的间歇过程故障监测方法。该方法使用具有非对称性、平滑、有界和一致逼近以及ε
‑
不敏感区特性的SRE损失函数与正则化作为深度自编码器(DAE)学习准则，提高模型的稀疏性和鲁棒性。首先，使用标记和未标记样本以无监督形式训练RSDAE模型,然后以RSDAE对训练数据集隐藏表示代替有标记新数据样本的输入特征构建新的标记样本集，使用MLP对标记样本进行回归，对DAE中各个编码器参数进行精细调整。最后，使用RSDAE对数据样本抽取隐藏表示(非线性特征)作为输入数据与样本标记输出构建PLS模型，实现了非线性PLS建模。该方法充分利用所有样本信息并考虑了样本的稀疏性，更好地获取数据中隐藏的有用信息，有效地消除了数据中不确定性、冗余信息，提高了模型的鲁棒性。
[0007]1.核偏最小二乘(KPLS)
[0008]KPLS就是在高维线性特征空间构建经典PLS模型，实现非线性数据回归。其实现方法就是首先通过非线性映射函数φ(
·
)把原始非线性数据的输入映射到高维空间，然后基于高维特征数据构建经典线性PLS模型。设有样本集X＝{(x1,y1),(x2,y2),
…
,(x
N
,y
N
)}，x
i
∈R
D
，y
i
∈R
d
，由非线性函数φ(
·
)将原本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种半监督RSDAE的非线性PLS间歇过程监测方法，其特征在于，包括以下步骤：S1、建立半监督RSDAE，深度自编码器由多个编码器、解码器堆叠而成，编码器实现数据低维空间表示或者高维空间的数据完备表示，并通过选择隐层的节点数量确定输入数据隐藏变量的维数，解码器主要从编码中重构输入数据；S101、使用标记样本输入样本和无标记样本学习RSDAE模型初始参数；S102、基于SRE
‑
损失函数的无监督RSDAE网络参数训练；S103、基于SRE
‑
损失函数的有监督RSDAE网络参数微调；S2、基于半监督鲁棒稀疏深度自编码网络进行非线性PLS建模；S201、离线训练半监督RSDAE；S202、使用在隐藏特征空间数据集建立PLS模型；S3、根据步骤S2建立的PLS模型进行故障监测；S301、对测试数据进行归一化处理；S302、使用半监督RSDAE从测试样本提取隐藏特征；S303、计算故障监测统计量。2.根据权利要求1所述一种半监督RSDAE的非线性PLS间歇过程监测方法，其特征在于，所述步骤S101中，RSDAE由L个AE堆叠组成，其第l层编码器的输出h
(l)
为h
(l)
＝f(z
(l)
)，z
(l)
＝W
(l,1)
h
(l
‑
1)
+b
(l,1)
ꢀꢀꢀꢀꢀꢀ
(22)其中，z
(l)
为第l层编码器输出隐含层的输入，h
(l
‑
1)
为第l
‑
1层编码器的输出，非线性激活函数f(z
(l)
)为编码器的输出，z
(l)
为第l层编码器的输入，W
(l,1)
和b
(l,1)
分别为第l层编码器输入层与输出层节点连接的权重矩阵和偏置向量，l＝1,2,
…
,L，L为RSDAE模型编码器的数量；第l个解码器输出为其中，为RSDAE的第l个解码器的输出，表示第l个编码器输入的重构，l＝1,2,
…
,L，L为RSDAE模型编码器的数量，h
(l)
为第l个编码器的输出，W
(l,2)
、b
(l,2)
分别为RSDAE模型中第l个解码器输入层与输出层连接的权重矩阵和偏置向量，表示RSDAE模型中第l个解码器输出层节点的输入，为非线性函数或线性函数；对每个AE模型参数由式(17)所示优化问题确定，稀疏隐层节点以及模型参数通过求解下面优化问题求取，式中，L(W,b)为优化问题目标函数，N为所有样本的数量，W,b分别表示AE的连接权重矩阵和偏置向量，x
i
为编码器的输入，为AE解码器的输出，表示解码器对输入数据x
i
的重构，i＝1,2,
…
,N,γ为加权系数且γ>0，用于控制模型稀疏性与重构误差的折中，K为隐含节点数量，μ为通常接近于0的稀疏参数，为隐含节点i的平均激活值。3.根据权利要求2所述一种半监督RSDAE的非线性PLS间歇过程监测方法，其特征在于，所述步骤S102中，对第l层AE参数Θ的优化问题形式为
式中，nJ(Θ)为输入样本与其重构之间的损失函数，用于网络训练的目标函数，N为训练样本的数量，和分别为第l个AE模型的输入和重构输出，K
(l)
为第l个AE隐含节点数量，L
ε
(
·
)为SRE
‑
损失函数，SRE
‑
损失函数表示为其中，和形式为形式为式中，为凸函数，为非凸函数，t∈(0,1)控制不对称程度，β>0为正则化因子，σ>0为尺度因子，ε>0为不敏感参数。4.根据权利要求3所述一种半监督RSDAE的非线性PLS间歇过程监测方法，其特征在于，所述步骤S103中，给定样本(x,y)，由RSDAE抽取x的隐藏表示记为h
(L)
，假设h
(L)
与y之间为线性关系，那么基于RSDAE的关于x的预测输出为式中，为基于RSDAE关于样本x的预测输出，矩阵W'和向量b'为回归模型的参数；利用有标签样本对RSDAE模型参数进行精细调整，通过下面最小化准则函数实现模型参数的微调，其中，Θ＝{W',b',W
(1,1)
,W
(2,1)
,b
(1,1)
,b
(2,1)
}表示需要调整参数集，N
Lab
为有标签样本数量，L
ε
为SRE
‑
损失函数，为RSDAE对样本输入x
i
的隐藏表示，W
(1,1)
为编码器第1隐藏层的输入权重矩阵，W
(2,1)
为编码器的第2隐藏层的输入权重矩阵，||W
(2,1)
||2表示矩阵W
(2,1)
的...

【专利技术属性】
技术研发人员：任世锦，开红梅，任珈仪，巩固，刘小洋，
申请(专利权)人：江苏师范大学，
类型：发明
国别省市：