基于偏最小二乘的高斯回归软测量建模方法技术

本发明专利技术公开了一种基于偏最小二乘的高斯回归软测量建模方法，该方法可用于存在较强的时变性、耦合性、非线性、滞后性以及其他复杂特性的工业过程。首先，基于偏最小二乘的方法对多元输入数据进行降维，并选取合适的得分向量作为高斯过程回归模型的输入；之后，通过对协方差函数的选取与组合，构建不同种类的高斯过程回归软测量模型对输出数据进行预测；最后，使用测试集数据对模型的预测能力进行评价。造纸废水处理过程数据的建模结果表明，基于偏最小二乘对被测变量的降维技术可以提高高斯过程回归模型的预测能力；由不同协方差函数构建的高斯过程回归模型为出水指标的预测提供了多种选择，更加适合复杂多变的造纸废水处理环境。

【技术实现步骤摘要】
基于偏最小二乘的高斯回归软测量建模方法
本专利技术涉及造纸废水处理过程中出水指标的软测量方法，具体涉及一种基于偏最小二乘的高斯回归软测量建模方法。
技术介绍
在造纸废水处理过程中，存在着大量难以测量或无法在线测量的参数，同时这类参数密切影响着出水指标的控制，例如化学需氧量(ChemicalOxygenDemand,COD)和悬浮固形物(SuspendedSolids,SS)，这类参数被称作主导变量。及时、准确地对主导变量做出检测并控制显得尤为重要，然而，过高的硬件成本成为参数在线测量的主要限制。软测量方法可根据被测变量的选取与测量完成对主导变量的预测，因此使用软测量方法对出水指标进行预测与控制是当前研究的热点问题之一。被测变量的选取没有通用性的指导准则。一般被测变量的选取与主导变量有密切的关系，通常构造某种数学模型来完成对主导变量的在线预测。若被测变量选取过多会使模型过于复杂，选取过少会丢失部分信息而降低模型精度，因此被测变量的选取十分关键。可考虑引入数据降维方法对被测变量进行选取，数据降维可确保在数据信息损失最少的原则下，对高维变量空间进行综合和简化，以此提高预测模型对数据信息的分析能力。常用的数据降维方法有主成分分析(PrincipalComponentAnalysis,PCA)和偏最小二乘(PartialLeastSquares,PLS)。相比于PCA，PLS在概括自变量系统信息的同时，注重要求所提取的得分向量对因变量的解释能力，因此更具备质量相关特性。在造纸废水处理领域，软测量模型的种类可以划分为：机理模型、回归分析模型与人工智能模型。机理模型的构建是根据有关工艺机理列出平衡方程，建立被测变量与主导变量间的数学关系。回归分析模型中常用的方法为多元线性回归，适用于多种因素关联的变化结果，其分析的技术核心是最小二乘法，属于线性方法。人工智能模型中人工神经网络(ArtificialNeuralNetwork,ANN)和支持向量机(SupportVectorMachine,SVM)应用较为广泛，属于非线性处理方法。高斯过程回归(GaussianProcessRegression,GPR)用来描述函数的分布问题，该方法的理论提出可以追溯到20世纪40年代，在1996年被Williams和Rasmussen应用于机器学习。相比于ANN与SVM而言，GPR具有容易实现、协方差函数可调、灵活的非参数推广以及超参数自适应调节等优点，可以对预测输出做出概率解释。现在，在造纸废水处理领域通过对测量仪表的升级可获取影响出水指标的主导变量，但是此类硬件仪表要么成本过高不宜推广，要么精度有限影响测量结果；一般来说，被测变量的选取往往先根据工艺知识，初选出与主导变量关系最为密切的变量，然后通过相关分析与工艺专家知识相结合，最后筛选出数量上比较合适的被测变量，但是该方法没有从数据的内在角度对被测变量与主导变量间的相关性进行分析，较难获取合适的被测变量与精确的预测效果。
技术实现思路
本专利技术针对上述现有技术中存在的问题，提供一种基于偏最小二乘的高斯回归软测量建模方法，对于造纸废水处理过程中的复杂特性，提供了方法冗余，降低了硬件成本，提高了对出水指标的预测精度。本专利技术是通过以下技术方案实现的：本专利技术提供的基于偏最小二乘的高斯过程回归软测量建模方法，采用偏最小二乘PLS完成对被测变量个数的小范围选取，使变量降低维度的同时与主导变量具备更高的相关性，再结合不同协方差函数的构建高斯过程回归模型GPR，以此提供不同模型的对比，实现最优预测。具体的说，该过程包括以下步骤：S1.数据预处理：首先选择训练样本输入数据X∈Rn×m(n代表样本个数，m代表样本维数)，其次选择训练样本输出数据Y∈Rn×p(p代表样本维数)，最后完成对输入数据和输出数据的标准化处理，使其均值为0，标准差为1；S2.PLS模型的构建：对输入数据X和输出数据Y进行PLS分解，选取合适的潜变量以完成得分矩阵T∈Rn×d(d为潜变量个数的筛选)，筛选后的得分矩阵作为软测量模型的输入进行数据预测；S3.建立所述得分矩阵T与输出数据Y之间的GPR模型：通过不同协方差函数的选取与组合构建不同的高斯过程回归模型；S4.完成对不同软测量模型预测能力的评估：将测试集输入数据带入模型进行预测，根据输出数据的预测值与真实值计算出不同模型对应的均方根误差(RMSE)与决定系数(R2)，并做出对比选择最佳预测模型。步骤S2中，PLS模型对输入数据X和输出数据Y分解如下：式中T∈Rn×d为得分矩阵；P∈Rm×d和Q∈Rp×d分别为X和Y的负载矩阵；E和F分别为X和Y的残差矩阵，d为PLS潜变量的个数；求解PLS模型的典型算法为非线性迭代最小二乘法。步骤S3包括：S31：高斯过程表示为：f(x)～GP(m(x),k(x,x'))(2)式中m(x)为均值函数，k(x,x')为协方差函数，分别表示为：式中x和x'为随机变量。数据经标准化处理后均值为0，因此高斯过程可简化表示为：f(x)～GP(0,k(x,x'))(4)将噪声考虑到观测目标值y中，考虑如下回归模型：y＝f(xi)+ε(5)式子中xi为样本输入数据，f(xi)为函数值，y为目标观测值，为高斯白噪声。则y的先验分布可表示为：观测值y与预测值f*的联合联合先验分布为：X为训练集的输入，X*为测试集的输入；K(X,X*)＝K(X*,X)T代表着训练集X与测试集X*样本点间的协方差矩阵，K(X*,X*)为测试集X*样本自身的协方差；In为n维单位矩阵。由此，高斯过程回归的预测值可表示为：其中S32：协方差函数的选择：高斯过程回归可以选择不同的协方差函数进行预测，本文采用的三种协方差函数为：(1)平方指数协方差函数(SquaredExponentialCovarianceFunction,SE)式中，M＝diag(l2)，l为方差尺度，为信号方差。参数的集合θ＝{l,σf}为超参数；(2)线性协方差函数(LinearCovarianceFunction,L)kL(x,x')＝xTM-1x'(12)同平方指数协方差函数，M＝diag(l2)，l为线性协方差函数的超参数；(3)周期性协方差函数(PeriodicCovarianceFunction,P)kP(x,x')＝k0(u(x),u(x'))(13)式中k0为任意随机核函数，周期性协方差函数将一维输入变量映射到二维u(x)空间，从而得到关于x的周期性随机函数：若k0＝kSE，则kP可以转化为：这里kP的超参数集合可表示为θ＝{p,l,σf}；S33：协方差函数的组合：高斯过程允许组合不同的协方差函数产生新的协方差函数，本文采用累加的方式进行协方差函数的组合，本文对协方差函数的选择如表1所示；表1GPR协方差函数的7种组合类型S34：超参数的获取：超参数的集合一般通过最大似然法求得：其中令式(16)对超参数θ求偏导，然后可以采用共轭梯度法得到超参数的最优解；获得超参数后，利用式(9)和(10)对测试点X*对应的预测值f*和方差进行计算。步骤S4包括：S41：根据输出数据的预测值与真实值计算出不同模型对应的均方根误差(RootMeanSquareError,RMSE)：式中，是估计值，yi是测量本文档来自技高网...

【技术保护点】
1.基于偏最小二乘的高斯过程回归软测量建模方法，其特征在于，所述方法采用偏最小二乘完成对被测变量个数的小范围选取，使变量降低维度的同时与主导变量具备更高的相关性，再结合不同协方差函数的构建高斯过程回归模型，以此提供不同模型的对比实现最优预测。

【技术特征摘要】
1.基于偏最小二乘的高斯过程回归软测量建模方法，其特征在于，所述方法采用偏最小二乘完成对被测变量个数的小范围选取，使变量降低维度的同时与主导变量具备更高的相关性，再结合不同协方差函数的构建高斯过程回归模型，以此提供不同模型的对比实现最优预测。2.根据权利要求1所述的基于偏最小二乘的高斯过程回归软测量建模方法，其特征在于，该方法包括以下步骤：S1.数据预处理：首先选择训练样本输入数据X∈Rn×m(，n代表样本个数，m代表样本维数，其次选择训练样本输出数据Y∈Rn×p，p代表样本维数，最后完成对输入数据和输出数据的标准化处理；S2.PLS模型的构建：对输入数据X和输出数据Y进行PLS分解，选取合适的潜变量以完成得分矩阵T∈Rn×d，d为潜变量个数的筛选，筛选后的得分矩阵作为软测量模型的输入进行数据预测；S3.建立所述得分矩阵T与输出数据Y之间的高斯过程回归模型：通过不同协方差函数的选取与组合构建不同的高斯过程回归模型；S4.完成对不同软测量模型预测能力的评估：将测试集输入数据带入模型进行预测，根据输出数据的预测值与真实值计算出不同模型对应的均方根误差RMSE与决定系数R2，并做出对比选择最佳预测模型。3.根据权利要求2所述的基于偏最小二乘的高斯过程回归软测量建模方法，其特征在于，步骤S2中，偏最小二乘模型对输入数据X和输出数据Y分解如下：式中T∈Rn×d为得分矩阵；P∈Rm×d和Q∈Rp×d分别为X和Y的负载矩阵；E和F分别为X和Y的残差矩阵，d为PLS潜变量的个数；求解PLS模型的典型算法为非线性迭代最小二乘法。4.根据权利要求2所述的基于偏最小二乘的高斯过程回归软测量建模方法，其特征在于，步骤S3包括：S31：求取高斯过程回归的预测值为：其中X为训练集的输入，X*为测试集的输入；K(X,X*)＝K(X*,X)T代表着训练集X与测试集X*样本点间的协方差矩阵，K(X*,X*)为测试集X*样本自身的协方差；In为n维单位矩阵；y为观测目标值；σ为高斯白噪声；S32：通过不同协方差函数构建高斯过程回归模型；S33：采用累加的方式进行协方差函数的组合；S34：超参数的...

【专利技术属性】
技术研发人员：刘鸿斌，杨冲，
申请(专利权)人：南京林业大学，
类型：发明
国别省市：江苏,32