当前位置: 首页 > 专利查询>浙江大学专利>正文

基于分布估计局部优化的最小二乘支持向量机软测量建模方法技术

技术编号:18657131 阅读:7 留言:0更新日期:2018-08-11 14:05
本发明专利技术公开一种基于分布估计局部优化的最小二乘支持向量机软测量建模方法,该方法利用测试集建立用于最小二乘支持向量机模型参数优化的局部目标集,使得优化的过程更贴合于测试集,有效地防止了传统使用全体训练集作为优化目标而产生的过拟合现象,对分布变化程度较高的数据具有很强的适应能力,并且使用分布估计算法进行参数优化能够有效提高收敛精度,采用本发明专利技术所构建的软测量模型可以较为精准地实现关键质量变量的预测和控制。

Least squares support vector machine soft sensor modeling method based on local optimization of estimation of distribution

The invention discloses a least squares support vector machine (LS-SVM) soft sensor modeling method based on local optimization of distribution estimation. The method uses test set to establish a local target set for parameter optimization of LS-SVM model, which makes the optimization process more suitable for test set and effectively prevents the traditional use of all training sets. The over-fitting phenomena produced as the optimization objectives have strong adaptability to the data with high degree of variation in distribution, and the convergence accuracy can be effectively improved by using the distribution estimation algorithm to optimize the parameters. The soft-sensing model constructed by the invention can more accurately predict and control the key quality variables. System.

【技术实现步骤摘要】
基于分布估计局部优化的最小二乘支持向量机软测量建模方法
本专利技术属于工业过程预测与控制领域,涉及一种基于分布估计局部优化的最小二乘支持向量机软测量建模方法。
技术介绍
软测量建模技术即为在实际的工业生产过程中,一些过程变量和质量变量难以使用传感器进行直接测量或者测量成本过高,因此人们往往会利用较为容易测量的一些过程变量,通过建立数学模型的方法来估计那些难以测量的过程或质量变量,进而能够很好地控制产品质量,提高生产效率。在常用的软测量数学模型中,最小二乘支持向量机模型(以下简称为LSSVM)以其使用训练样本小,求解简单,运算速度快等优点被广泛地用于各类工业过程变量的软测量。但该模型本身仍具有较大的缺陷,其模型中的核函数参数和惩罚因子往往需要人为进行设定,而这两个参数会直接影响模型的训练效果,若选择不当则会造成较大的预测偏差。为了解决这个问题,目前较为常用的方法为基于参数优化的LSSVM,即基于训练样本,利用优化的方式对LSSVM中的核函数参数及惩罚因子进行寻优的方法,常用的寻优方法主要有遗传算法、粒子群算法、差分进化算法等。该方法能够在LSSVM进行预测之前,以最小化训练集的偏差为目标,搜索出一组较佳的模型参数,能够有效地提高LSSVM模型的预测精度,该种方法由于在优化过程中使用全部训练集的预测偏差作为目标函数因此可称其为全局优化。但该方法仍然具有一定的缺陷,且主要分为两个部分,一方面如果只以最小化训练样本集的偏差为优化目标会使算法的泛化能力变差,这种情况主要发生在训练集和测试集的数据分布差异较大时,即利用训练集优化出的模型参数会对训练集有较好的拟合效果,而测试集可能差异较大;另一方面,该种方法对寻优算法的要求也较高,即优化算法应该具有更好的收敛性和寻优效果,而目前很多常用的智能优化算法如(遗传算法)仍不具备这些特性。
技术实现思路
针对现有基于参数优化LSSVM的不足,本专利技术提出了一种基于分布估计局部优化的最小二乘支持向量机软测量建模方法,该方法通过局部模型建立优化目标,并采用了具有较快收敛速度的分布估计算法进行寻优,使算法即使在训练和测试样本集差异较大的情况下仍能以较快的速度对测试样本进行精准预测。本专利技术的具体技术方案如下:一种基于分布估计局部优化的最小二乘支持向量机软测量建模方法,其特征在于,该方法包括以下步骤:步骤一:收集历史工业过程数据建立训练集,训练集中共有n个样本,每个样本具有m个易于测量的过程变量,以及一个需要被估计的质量变量,该训练样本集表示为S_train={(xi,yi)|i=1,2…,n},其中xi∈R1×m,yi∈R1,并用S_train(x)表示样本中的过程变量,S_train(y)表示样本中的质量变量,其余样本集合表示方法相同;模型的测试集与训练集具有相同的形式,表示为S_test={(xi,yi)|i=1,2…,nt},nt为测试集中的样本个数;步骤二:将步骤一中的所得到的训练样本集和测试样本集中的xi进行标准化,即将过程变量的均值化为0,方差化为1,所得到标准化后的训练样本集和测试样本集为S_std_train和S_std_test;步骤三:针对标准化后测试样本集中的每个测试样本在训练集中找到与之欧式距离最近的样本构建用于最小二乘支持向量机模型参数局部优化的目标集S_obj,并在标准化后的训练样本集中S_std_train中删除所选出的用于作为目标集的训练样本,得到用于局部优化的训练集步骤四:以目标集S_obj中每个样本的预测值与实际值偏差绝对值的和作为用于最小二乘支持向量机模型参数局部优化的适应值函数f,同时以径向基核函数参数σ2及惩罚因子γ两个待优化参数的取值范围作为局部优化的约束条件;步骤五:初始化单变量边缘分布算法的种群大小、优化变量个数、最大迭代次数及截断选择率等相关参数,并根据待优化参数的取值范围随机采样建立初始种群Pop_Init;步骤六:将初始种群中的每一个体,即为Pop_Init的每一行,带入步骤四中的适应值函数,即利用局部优化训练集对模型训练,并对局部优化目标集进行预测,并与真实值代入适应值函数中计算适应值;步骤七:将步骤五得到的初始种群,以及步骤六每个个体对应的适应值带入单变量边缘分布算法中进行迭代,直至满足最大迭代次数为止,返回一组优化后的最小二乘支持向量机模型参数(γbest,σ2best);步骤八:将步骤七所得到的优化后的模型参数带回最小二乘支持向量机模型中并利用全体训练集重新对模型进行训练,所得模型如下式所示y(x)=LSSVMS_std_train(x,γbest,σ2best)步骤九:将测试集带入步骤八训练的模型中,具体如下式所示,即可实现对质量变量的软测量y=LSSVMS_std_train(S_std_test,γbest,σ2best)。进一步地,所述步骤三中选择用于局部优化的训练集和目标集的具体步骤如下:(a)针对标准化后的测试集S_std_test中每一个样本在标准化后的训练集S_std_train中找到与之欧式距离最近的一个样本,并记录所找到的样本在训练集中的位置;(b)将所找到的nt个样本组建成用于局部优化的目标集S_obj,将记录目标集在原训练集位置的索引组建成目标集的索引集S_obj_index;(c)根据目标集的索引集S_obj_index,在S_std_train中删除所选出用于构建目标集的样本,得到用于局部优化的训练集为进一步地,所述步骤四具体为:(a)使用训练最小二乘支持向量机模型,得再将局部优化的目标集S_obj中的过程变量带入模型中,得到局部优化的目标集S_obj对应的预测值S_obj(yp),如下式所示;(b)计算局部优化目标集各个样本的预测值与实际值偏差绝对值的和作为适应值函数f,其表达式如下式所示:(c)以模型参数γ和σ2的最大与最小取值范围来建立约束条件,如下式所示;进一步地,所述步骤五具体为:(a)设定单变量边缘分布算法参数,包括优化的变量个数Pop_Id,种群大小Pop_Size,最大迭代次数max_Iteration以及截断选择率selectrate;(b)在步骤四中所设定的模型参数约束条件范围内进行随机采样,构建大小为Pop_Size×Pop_Id的初始种群Pop_Init。进一步地,所述的步骤三中的样本间欧式距离的计算公式为dij=||S_std_test(xi)-S_std_train(xj)||2式中i=1…nt,j=1…n,dij为测试集中第i个样本与训练集中第j个样本之间的欧式距离。本专利技术的有益效果如下:本专利技术利用测试集建立用于LSSVM模型参数优化的局部目标集,使得优化的过程更贴合与测试集,有效地防止了传统使用全体训练集作为优化目标而产生的过拟合现象,对分布变化程度较高的数据具有很强的适应能力,并且使用分布估计算法进行参数优化能够有效提高收敛精度,因此基于本专利技术所构建的软测量模型可以较为精准地实现关键质量变量的预测和控制。附图说明图1为基于分布估计局部优化的最小二乘支持向量机软测量模型的预测曲线图;图2为基于分布估计全局优化的最小二乘支持向量机软测量模型的预测曲线图;图3为分别基于分布估计和标准粒子群算法的局部优化的最小二乘支持向量机软测量模型的收敛曲线。具体实施方式下面本文档来自技高网
...

【技术保护点】
1.一种基于分布估计局部优化的最小二乘支持向量机软测量建模方法,其特征在于,该方法包括以下步骤:步骤一:收集历史工业过程数据建立训练集,训练集中共有n个样本,每个样本具有m个易于测量的过程变量,以及一个需要被估计的质量变量,该训练样本集表示为S_train={(xi,yi)|i=1,2…,n},其中xi∈R1×m,yi∈R1,并用S_train(x)表示样本中的过程变量,S_train(y)表示样本中的质量变量,其余样本集合表示方法相同;模型的测试集与训练集具有相同的形式,表示为S_test={(xi,yi)|i=1,2…,nt},nt为测试集中的样本个数。步骤二:将步骤一中的所得到的训练样本集和测试样本集中的xi进行标准化,即将过程变量的均值化为0,方差化为1,所得到标准化后的训练样本集和测试样本集为S_std_train和S_std_test。步骤三:针对标准化后测试样本集中的每个测试样本在训练集中找到与之欧式距离最近的样本构建用于最小二乘支持向量机模型参数局部优化的目标集S_obj,并在标准化后的训练样本集S_std_train中删除所选出的用于作为目标集的训练样本,得到用于局部优化的训练集...

【技术特征摘要】
1.一种基于分布估计局部优化的最小二乘支持向量机软测量建模方法,其特征在于,该方法包括以下步骤:步骤一:收集历史工业过程数据建立训练集,训练集中共有n个样本,每个样本具有m个易于测量的过程变量,以及一个需要被估计的质量变量,该训练样本集表示为S_train={(xi,yi)|i=1,2…,n},其中xi∈R1×m,yi∈R1,并用S_train(x)表示样本中的过程变量,S_train(y)表示样本中的质量变量,其余样本集合表示方法相同;模型的测试集与训练集具有相同的形式,表示为S_test={(xi,yi)|i=1,2…,nt},nt为测试集中的样本个数。步骤二:将步骤一中的所得到的训练样本集和测试样本集中的xi进行标准化,即将过程变量的均值化为0,方差化为1,所得到标准化后的训练样本集和测试样本集为S_std_train和S_std_test。步骤三:针对标准化后测试样本集中的每个测试样本在训练集中找到与之欧式距离最近的样本构建用于最小二乘支持向量机模型参数局部优化的目标集S_obj,并在标准化后的训练样本集S_std_train中删除所选出的用于作为目标集的训练样本,得到用于局部优化的训练集步骤四:以目标集S_obj中每个样本的预测值与实际值偏差绝对值的和作为用于最小二乘支持向量机模型参数局部优化的适应值函数f,同时以径向基核函数参数σ2及惩罚因子γ两个待优化参数的取值范围作为局部优化的约束条件。步骤五:初始化单变量边缘分布算法的种群大小、优化变量个数、最大迭代次数及截断选择率等相关参数,并根据待优化参数的取值范围随机采样建立初始种群Pop_Init。步骤六:将初始种群中的每一个体,即为Pop_Init的每一行,带入步骤四中的适应值函数,即利用局部优化训练集对模型训练,并对局部优化目标集进行预测,并与真实值代入适应值函数中计算适应值。步骤七:将步骤五得到的初始种群,以及步骤六每个个体对应的适应值带入单变量边缘分布算法中进行迭代,直至满足最大迭代次数为止,返回一组优化后的最小二乘支持向量机模型参数(γbest,σ2best)。步骤八:将步骤七所得到的优化后的模型参数带回最小二乘支持向量机模型中并利用全体训练集重新对模型进行训练,所得模型如下式所示y(x)=LSSVMS_std_train(x,γbes...

【专利技术属性】
技术研发人员:葛志强张鑫宇
申请(专利权)人:浙江大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1