基于DRVB-ASCKF的SVR参数优化方法技术

本发明专利技术涉及一种基于DRVB-ASCKF的SVR参数优化方法，本发明专利技术大体包括三部分内容。第一部分根据实际支持向量回归（SVR）的参数优化问题进行系统建模；第二部分简述变分贝叶斯自适应平方容积卡尔曼滤波（VB-ASCKF)；第三部分结合VB-ASCKF引出双重递归变分贝叶斯自适应卡尔曼滤波方法（DRVB-ASCKF），并最终求得状态估计，估计误差协方差，观测噪声协方差，过程噪声协方差以及Inv-Gamma分布参数和。因此，可以将DRVB-ASCKF应用于SVR的参数优化中，该方法具有较高的滤波精度，同时它也可以处理噪声方差的不确定问题。

【技术实现步骤摘要】
基于DRVB-ASCKF的SVR参数优化方法
本专利技术属于非线性系统的模式识别领域，特别涉及一种基于双重递归变分贝叶斯 的自适应平方容积卡尔曼滤波（DRVB-ASCKF)方法。
技术介绍
支持向量回归（SVR)是一类基于统计学理论和结构风险最小原则的机器学习算 法，可用于解决针对小样本、非线性和高维参数的预测问题，因此它具有较好的泛化功能。 由于SVR的性能在很大程度上取决于系统参数的选择，因此提高SVR模型性能的关键就在 于相关参数的优化。 解决上述不确定参数优化问题的传统方法是利用自适应滤波方法，其中模型参数 或噪声统计特性可以与动态状态一同估计获得。变分贝叶斯（VB)可用于实现状态和未知 观测噪声方差的同步估计。目前一种高精度的变分贝叶斯自适应卡尔曼滤波算法即通过VB 方法来近似状态和观测噪声的联合后验分布，可通过因式分解自由分布形式来获得状态和 观测噪声协方差的次优同步估计，但是它只能应用于线性系统。随后，变分贝叶斯自适应无 味卡尔曼滤波（VB-UKF)的引入解决了带有未知观测噪声协方差的非线性估计问题。而后， 研究发现平方容积卡尔曼滤波（SCKF)较之于（UKF)具有较高的估计性能。因此，通过变分 贝叶斯自适应平方容积卡尔曼滤波（VB-ASCKF)来估计SVR参数可以获得更高的滤波精度 和较强的鲁棒性。上述方法缺乏全局优化特性且优化效率较低，并且在实际系统中，噪声统 计特性往往未知，由于过程噪声和测量噪声间存在着某种函数关系，因此我们对VB-ASCKF 进行了改进。
技术实现思路
针对上述问题，本专利技术提出了双重递归变分贝叶斯自适应卡尔曼滤波方法 (DRVB-ASCKF)，本专利技术大体包括三部分内容：第一部分根据实际情况中的支持向量回归 (SVR)的参数优化问题进行系统建模；第二部分简述变分贝叶斯自适应平方容积卡尔曼滤 波（VB-ASCKF);第三部分结合VB-ASCKF引出DRVB-ASCKF，并最终求得状态估计估计 误差协方差Pklk，观测噪声协方差4，过程噪声协方差0以及Inv-Gamma分布参数Cik和 3k。 本专利技术可以优化等得到一个动态全局性的SVR估计参数。该方法具有较高的滤波 精度，同时它也可以处理噪声方差的不确定问题，此外，如果函数间关系不确定，该方法也 仍旧可以获得一个较高的参数估计精度。 【附图说明】 图1为观测噪声和过程噪声的估计流程图； 图2为DRVB-ASCKF的流程图。 【具体实施方式】 下面首先根据实际情况中的SVR参数优化问题建立系统模型，而后简要经分析 VB-ASCKF，最后基于该方法并改进提出了 DRVB-ASCKF，使得最终系统可以获得一个基于全 局性的SVR参数动态估计值。下面详细介绍本专利技术的实施过程。 步骤1.系统建模： 由于支持向量回归（SVR)的性能在很大程度上取决于系统参数选择，因此提高 SVR模型性能的关键就在于相关参数的优化。现将SVR的系统选择问题转换为非线性系统 状态估计问题，并建立非线性状态空间模型如下：本文档来自技高网...

【技术保护点】
基于DRVB‑ASCKF的SVR参数优化方法，其特征在于该方法包括以下步骤：步骤1.系统建模：将支持向量回归的系统选择问题转换为非线性系统状态估计问题，并建立非线性状态空间模型如下：xk=xk-1+vk-1yk=h(xk)+wk]]>式中，k为时间参数，超参数xk∈Rm是状态向量；yk∈Rm是非线性观测向量，其中初始状态具有一个高斯先验分布y0～N(m0,P0)，假设已知初始状态先验分布的参数m0和P0；非线性函数h(·)是观测函数；vk～N(0,Qk)是具有协方差矩阵的高斯过程噪声；wk～N(0,Σk)，Qk是具有对角协方差Σk的观测噪声；步骤2.变分贝叶斯自适应平方容积卡尔曼滤波(2.1)时间更新：1)估计容积点Xik‑1|k‑1和传播后的容积点Xi,k-1|k-1=Sk-1|k-1ζi+x^k-1|k-1Xi,k|k-1*=Xi,k-1|k-1]]>式中，为k‑1时刻的状态估计；Sk‑1|k‑1能在第k‑1个状态估计期间在线得出；ζl=m2[l]i,i=1,2,···,m(m=2n),]]>令n＝2且[l]={10,01,-10,0-1};]]>2)估计一步状态预测及其协方差的平方根因子Sk‑1|k‑1：x^k-1|k-1=1mΣi=1mXi,k|k-1*Sk-1|k-1=Tria([Xi,k|k-1*,SQ^k-1j])]]>式中是的平方根；Tria(·)是Cholesky分解；3)估计对角协方差Σk的预测参数αk,i|k‑1和βk,i|k‑1；(2.2)观测更新：1)估计观测预测值y^k|k-1=1mΣi=1mYli,k|k-1]]>式中，Yi,k|k‑1是传播后的容积点；2)估计协方差预测值Pxz,k|k‑1；3)迭代初始化，即令j＝0并给定迭代次数N；4)估计观测噪声的协方差5)估计更新协方差预测的平方根6)估计滤波增益矩阵和估计误差协方差的平方根Kkj+1=(Pxz,k|k-1/Szz,k|k-1j+1)T/Szz,k|k-1j+1Sk|kj+1=Tria([xk|k-1-Kkj+1ζk|k-1Kkj+1SΣ^kj])]]>式中，ζk|k-1=1m[X1,k|k-1-x^k|k-1,X2,k|k-1-x^k|k-1,···,Xm,k|k-1-x^k|k-1];]]>7)估计状态和估计误差协方差x^k|kj+1=(x^k|k-1+Kkj+1(yk-y^k|k-1))Pk|kj+1=Sk|kj+1(Sk|kj+1)T]]>8)估计过程噪声的协方差Q^k=(1-dk)Q^k-1+dk[Kky~ky~kTKkT+Pk|k-φkPk-1|k_1φkT]]]>式中，dk＝(1‑b)/(1‑bk+1)，遗忘因子b满足0.95＜b＜0.99；Kk和Pk|k分别为系统滤波增益矩阵和估计误差协方差；φk是系统转移矩阵；步骤3.给定双重递归变分贝叶斯自适应卡尔曼滤波1)设定已知输入：非线性观测向量yk；过程噪声方差状态估计值估计误差协方差预测参数αk‑1和βk‑1；权系数ρk‑1；2)令Qk=Q^k-1;]]>3)令状态向量一步预测值满足：xk|k-1=x^k-1Pk|k-1=P^k-1+Qk]]>4)计算观测噪声的Inv‑Gamma分布参数；5)内环迭代初始化，即令j＝0并给定迭代次数N；并令αk,i＝0.5+αk,i|k‑1，βk,i0=βk,i|k-1,i=1,2,···,d;]]>6)迭代循环VB算法，若j＜N，则更新参数βk，并令j＝j+1；当j＝N时，结束迭代进程，得βk=βkN,Σ^k=Σ^kNSzz,k|k-1=Szz,k|k-1N+1x^k|k=x^k|kN+1,Pk|k=Pk|kN+1]]>7)执行外环迭代，最终得...

【技术特征摘要】
1.基于DRVB-ASCKF的SVR参数优化方法，其特征在于该方法包括以下步骤： 步骤1.系统建模： 将支持向量回归的系统选择问题转换为非线性系统状态估计问题，并建立非线性状态 空间模型如下：式中，k为时间参数，超参数XkeΓ是状态向量；ykeΓ是非线性观测向量，其中初 始状态具有一个高斯先验分布yc)?NO%Ptl)，假设已知初始状态先验分布的参数Hitl和Ptl ; 非线性函数h( ·)是观测函数；Vk?N(0,Qk)是具有协方差矩阵的高斯过程噪声；Wk? N(0,Σ,)，Qk是具有对角协方差Σ,的观测噪声； 步骤2.变分贝叶斯自适应平方容积卡尔曼滤波 (2. 1)时间更新： 1) 估计容积点Xilrtllrt和传播后的容积点乂u(/ = 1,2,···,/η):式中，为k-Ι时刻的状态估计；Slrtllrt能在第k-Ι个状态估计期间在线得出；2) 估计一步状态预测·％^^及其协方差的平方根因子 Sk-ilk-i:式中*是含4的平方根；Tria( ·)是Cholesky分解； 3) 估计对角协方差Σ,的预测参数 α k，iIk-I和P k，iIk-I ; (2· 2)观测更新： 1) 估计观测预测值Am:式中，Yullrt是传播后的容积点； 2) ...

【专利技术属性】
技术研发人员：王海伦，吕梅蕾，张露，刘爽，
申请(专利权)人：衢州学院，
类型：发明
国别省市：浙江;33