一种基于贝叶斯高斯混合模型的即时学习软测量建模方法技术

本发明专利技术公开了一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，属于复杂工业过程建模和软测量领域。本发明专利技术用于具有非线性、非高斯性的时变工业过程，通过一种在线实时更新局部的策略，采用贝叶斯信息准则确定最优的高斯成分个数，当新的测试数据到来时，计算其隶属于每个高斯成分的后验概率，并求出其与训练数据之间的马氏距离，将两者融合作为相似度指标；最后，从原始的训练样本中选取相似度最大的一组数据来建立当前的GPR模型，并进行模型输出预测，达到了提高产品质量，降低生产成本的效果。

【技术实现步骤摘要】
一种基于贝叶斯高斯混合模型的即时学习软测量建模方法
本专利技术涉及一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，属于复杂工业过程建模和软测量领域。
技术介绍
对于一些存在非线性、时变和非高斯性的工业过程，且对过程中产品质量的要求不断提高，需要对一些直接决定产品质量的过程变量进行严格的监测和控制。但是由于某些测量仪器价格昂贵或者技术条件的制约，使得这些变量无法用在线仪器测量得到。为了解决这些问题，可以通过建立软测量模型的方法进行估计和预测，常用的软测量方法有偏最小二乘法(partialleastsquares，PLS)、人工神经网络(artificialneuralnetworks，ANN)、支持向量机(supportvectormachine，SVM)等。PLS可以很好的处理过程的线性问题，然而实际工业过程常常呈现非线性，因此线性方法不再适用。非线性建模方法如ANN、SVM等，虽然可以较好地处理过程的非线性，但存在优化参数较多等问题。近年来，高斯过程回归(Gaussianprocessregression，GPR)受到了越来越多的关注，作为一种非参数概率模型，它不仅能够得到模型的预测值，还能得到预测值对模型的信任值。与ANN、SVM等方法相比，GPR需要优化的参数较少，在解决小样本、非线性问题中具有独特的优势。因此选择GPR建模。在离线建立好的模型投入运行以后，由于生产环境的一些变化以及对产品质量要求的不断改变等原因，之前建立好的模型可能会出现不再适用于当前工况的情况，预测的结果不能满足精度要求。针对这一问题，常用的解决方法有基于滑动窗(Movingwindow，MW)和基于即时学习(Just-in-timelearning，JITL)的方法，但是MW的窗口长度难以确定且不适用于过程的突变，JITL方法根据相似输入产生相似输出的原理，选择与测试样本最相似的一组训练样本来建立局部模型进行预测，可以较好地解决过程突变问题。然而，对于一些呈现非高斯性的时变工业过程，传统的JITL方法是基于欧氏距离或者和角度相结合的相似度准则来选择相似数据，无法充分考虑到过程数据的非高斯性。
技术实现思路
为了解决目前存在的问题，本专利技术提出一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，它不仅考虑到了过程的时变性，而且在选择相似数据建立局部GPR模型时，充分考虑到数据的非高斯特性，更为合理的选择相似数据。所述方法包括：步骤1：收集输入、输出数据得到历史训练数据集；步骤2：X为已知训练样本，利用贝叶斯信息准则BIC确定最优的高斯成分个数K，BIC的描述如公式(1)：BIC＝-2logp(X|Θ)+dlog(N)(1)式(1)中logp(X|Θ)表示训练样本的对数似然函数，d表示K个高斯成分所具有的自由参数的个数，N表示训练样本的个数步骤3：根据最优的高斯成分个数K后和给定高斯混合模型GMM的初始参数，利用式(5)、(6)、(7)不断迭代，直到前后两次参数的差值小于设定好的阈值，得到最终GMM的参数Θ，GMM的详细描述如下：包含N个训练样本的数据集X{xi∈Rm,i＝1,2…N}，m表示输入数据的维数，该数据集的概率密度函数表示为：其中，Θ＝[α1,μ1,Σ1；α2,μ2,Σ2；……；αk,μk,Σk]是GMM的参数，K是高斯成分的个数，θk为第k个高斯成分的参数，θk＝(μk,Σk)，μk和Σk分别为第k个高斯成分的均值和协方差矩阵，αk为第k个高斯成分所占的比例，且0<αk<1，其中第k个高斯成分的概率密度函数为：通过期望最大化算法对GMM方法中的未知参数进行求解，具体求解过程分为E步和M步，其描述如下：E步：根据当前第l次更新的参数和通过贝叶斯公式计算第i个训练样本属于第k个高斯成分的概率其中Ck表示第k个高斯成分M步：更新算法参数步骤4：当来到一个新的输入数据xq，采用即时学习JITL算法从历史数据集中选择与之最相似的一组数据建立局部的高斯过程回归GPR模型，JITL算法和GPR建模方法的详细描述分别如下：JITL算法：JITL方法是根据相似输入产生相似输出的思想，从训练样本中选择与当前到来的测试样本最相似的一组训练样本来建模，JITL的核心是相似度准则的选取，基于欧式距离和角度的相似度准则是一种常用的方法，即：其中，距离d表示当前到来的测试样本与训练样本之间的2范数，θ表示这两个样本之间的夹角，γ为一系数，取值在0到1之间；然而，对于一些非高斯工业过程，GMM可以较好地对过程的非高斯性进行描述，相比于传统的相似度准则，基于贝叶斯高斯混合模型BGMM的相似度准则可以更好地选择相似样本来建立GPR模型，由步骤2和3分别得到的最优的高斯成分个数K和各个成分的参数Θ，对应的相似度准则可以表示为：其中xq表示新到来的样本，xi表示第i个训练样本，p(Ck|xq)表示新到来的样本xq属于第k个高斯成分的后验概率，为两样本之间的马氏距离，针对当前到来的xq，利用上述相似度准则，选择与xq最相似的一组数据建立当前的GPR模型GPR建模方法：已知训练样本集X{xi∈Rm,i＝1,2…N}和Y{yi∈R,i＝1,2…N}分别代表m维输入数据和1维输出数据，输入和输出之间的关系可以表示为：yi＝f(xi)+ε(10)其中f表示一种未知的函数形式，ε表示均值为0，方差为的白噪声对于新的测试样本xq，则它的输出预测值yq也满足高斯分布，其均值和方差分别表示为：yq(xq)＝cT(xq)C-1Y(11)其中，c(xq)＝[c(xq,x1),…,c(xq,xN)]T是测试输入数据与训练输入数据的协方差矩阵，为训练输入数据之间的协方差矩阵，c(xq,xq)表示测试输入数据与本身的协方差值；GPR选择径向基协方差函数，其函数描述如下：其中，v表示先验知识的总体度量，ωt表示每维数据相对应的权重，δij为Kronecher算子，表示各辅助变量的相对重要程度；采用极大似然估计得到式(13)中的参数其对数似然函数为：使用训练集和验证集将参数θ试凑出来，然后用共轭梯度法得到优化的参数，参数确定后，对于新的测试数据，可由式(11)得到软测量模型输出；步骤5：将新到来的样本点xq带入步骤4建立好的局部GPR模型，得到最终的估计值yq。可选的，所述方法为应用于复杂工业过程中对无法直接测量的变量的预测方法。可选的，所述复杂工业过程包括化工、冶金及发酵过程。可选的，所述方法为应用于脱丁烷塔过程中对于丁烷浓度的预测方法。本专利技术有益效果是：通过一种在线实时更新局部的策略，采用贝叶斯信息准则确定最优的高斯成分个数，当新的测试数据到来时，计算其隶属于每个高斯成分的后验概率，并求出其与训练数据之间的马氏距离，将两者融合作为相似度指标；最后，从原始的训练样本中选取相似度最大的一组数据来建立当前的GPR模型，并进行模型输出预测，达到了提高产品质量，降低生产成本的效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为基于BGMM的JITL软测量本文档来自技高网...

【技术保护点】
1.一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，其特征在于，所述方法包括：步骤1：收集输入、输出数据得到历史训练数据集；步骤2：X为已知训练样本，利用贝叶斯信息准则BIC确定最优的高斯成分个数K，BIC的描述如公式(1)：BIC＝‑2logp(X|Θ)+dlog(N)    (1)式(1)中logp(X|Θ)表示训练样本的对数似然函数，d表示K个高斯成分所具有的自由参数的个数，N表示训练样本的个数；步骤3：根据最优的高斯成分个数K后和给定高斯混合模型GMM的初始参数，利用式(5)、(6)、(7)不断迭代，直到前后两次参数的差值小于设定好的阈值，得到最终GMM的参数Θ，GMM的详细描述如下：包含N个训练样本的数据集X{xi∈Rm,i＝1,2…N}，m表示输入数据的维数，该数据集的概率密度函数表示为：

【技术特征摘要】
1.一种基于贝叶斯高斯混合模型的即时学习软测量建模方法，其特征在于，所述方法包括：步骤1：收集输入、输出数据得到历史训练数据集；步骤2：X为已知训练样本，利用贝叶斯信息准则BIC确定最优的高斯成分个数K，BIC的描述如公式(1)：BIC＝-2logp(X|Θ)+dlog(N)(1)式(1)中logp(X|Θ)表示训练样本的对数似然函数，d表示K个高斯成分所具有的自由参数的个数，N表示训练样本的个数；步骤3：根据最优的高斯成分个数K后和给定高斯混合模型GMM的初始参数，利用式(5)、(6)、(7)不断迭代，直到前后两次参数的差值小于设定好的阈值，得到最终GMM的参数Θ，GMM的详细描述如下：包含N个训练样本的数据集X{xi∈Rm,i＝1,2…N}，m表示输入数据的维数，该数据集的概率密度函数表示为：其中，Θ＝[α1,μ1,Σ1；α2,μ2,Σ2；……；αk,μk,Σk]是GMM的参数，K是高斯成分的个数，θk为第k个高斯成分的参数，θk＝(μk,Σk)，μk和Σk分别为第k个高斯成分的均值和协方差矩阵，αk为第k个高斯成分所占的比例，且0<αk<1，其中第k个高斯成分的概率密度函数为：通过期望最大化算法对GMM方法中的未知参数进行求解，具体求解过程分为E步和M步，其描述如下：E步：根据当前第l次更新的参数和通过贝叶斯公式计算第i个训练样本属于第k个高斯成分的概率其中Ck表示第k个高斯成分M步：更新算法参数步骤4：当来到一个新的输入数据xq，采用即时学习JITL算法从历史数据集中选择与之最相似的一组数据建立局部的高斯过程回归GPR模型，JITL算法和GPR建模方法的详细描述分别如下：JITL算法：JITL方法是根据相似输入产生相似输出的思想，从训练样本中选择与当前到来的测试样本最相似的一组训练样本来建模，JITL的核心是相似度准则的选取，基于欧式距离和角度的相似度准则是一种常用的方法，即：其中，距离d表示当前到来的测试样本与训练样本之间的2范数，θ表示这两个样本之间的夹角，γ为一系数，取值在0到1之间；然而，对于...

【专利技术属性】
技术研发人员：熊伟丽，祁成，马君霞，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏,32