一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法技术

一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，属于数据处理技术领域。首先，整理原始量测数据，建立电力系统的动态模型。其次，建立容积卡尔曼滤波CKF基本方程，得到数据清洗要用到的前期准备数据。再次，对k+1时刻的电力系统量测装置采集到的原始量测数据zk+1进行不良数据辨识、修正过程；对k+1时刻的原始量测数据zk+1进行数据清洗。最后，计算得到下一时刻数据清洗的前期准备数据，并对下一时刻的电力系统量测数据进行清洗，得到数据清洗值的集合。本发明专利技术考虑量测数据之间的相关性，通过将突变数据辨识过程与数据相关性强弱程度辨识过程进行结合，对波动型数据和不良数据进行区分，并通过修正因子对不良数据完成清洗，提高数据清洗准确性。

A data cleaning method based on improved robust volume Kalman filter

【技术实现步骤摘要】
一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法
本专利技术属于数据处理
，涉及电力系统数据清洗方法，特别涉及到一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法。
技术介绍
数据清洗，就是对缺失、错误数据等不良数据的辨识修正过程，即对“脏”数据的“清洗”过程，将“脏”数据补全或更正为更接近真实数据的可靠数据。由于电力系统量测误差及数据传输干扰等问题，通过量测装置最终收集得到的量测数据不可避免会存在“脏”数据。如果不对“脏”数据加以处理便直接使用，将会对后续分析带来巨大的误差。目前大多直接将超过量测标准差一定倍数的突变数据当作“脏”数据，但是随着风电等新能源并网趋势的发展，这种具有随机性、间歇性的新能源出力将导致电力系统功率产生波动，量测数据也随之成为变化不稳定的波动型数据。因此，目前电力系统中的突变数据不仅包括“脏”数据，还包含了大量量测正确的波动型数据，若不加区分的对所有突变数据进行数据清洗，可能反而会把正确数据处理成“脏”数据。
技术实现思路
本专利技术目的是在对量测数据的数据清洗过程中，提出一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，该方法考虑量测数据之间的相关性，通过将突变数据辨识过程与数据相关性强弱程度辨识过程进行结合，对波动型数据和不良数据进行区分，并通过修正因子对不良数据完成清洗，提高数据清洗准确性。为了达到上述目的，本专利技术的技术方案是：一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，包括以下步骤：步骤1：整理原始量测数据。在某一时刻时，通过电力系统量测装置采集得到原始数据组成的向量为z，设定需要数据清洗的时刻个数为N，即得到需要清洗的总数据集合为{z1，z2，z3，…，zN}。以k代表时刻，则需要利用k时刻的数据对k+1时刻进行预测，从而对k+1时刻的数据zk+1进行清洗。步骤2：建立电力系统的动态模型，得到电力系统动态方程和量测方程如下所示：xk+1＝f(xk)+qk(1)zk+1＝h(xk+1)+rk+1(2)式中：k表示时刻；xk和xk+1分别是k时刻和k+1时刻的状态向量，包括电力系统电压幅值、相角等；zk+1是k+1时刻的量测向量，包括电力系统功率、电压等；f(·)和h(·)分别是电力系统的状态转移函数和量测函数；qk和rk+1分别为k时刻的过程噪声和k+1时刻的量测噪声，满足均值为0、方差阵分别为Q和R的正态分布。步骤3：设定起始时刻k＝1，则k+1＝2，表示利用第1个时刻的前期准备数据，对第2个时刻的数据z2进行清洗。步骤4：建立容积卡尔曼滤波(cubatureKalmanfilter，CKF)基本方程，并基于CKF基本方程，得到数据清洗要用到的前期准备数据。首先计算方程(3)～(7)得到电力系统的电压、相角等状态量在k+1时刻的预测值再计算方程(8)～(12)得到电力系统的功率等量测数据在k+1时刻的预测值然后计算方程(13)得到电力系统量测数据的预测误差方差阵Pvv,k+1；最后计算方程(14)，将k+1时刻量测装置采集的量测数据zk+1减去预测值得到量测新息向量ek+1。所述的CKF主要包括预测和滤波两个基本过程：1)预测Sk|k＝chol(Pk|k)(3)式中：chol(·)表示Cholesky分解；Pk|k为k时刻状态估计误差方差阵；Sk|k为对Pk|k进行Cholesky分解得到的上三角矩阵；n为电力系统节点个数；I为n阶单位矩阵；ξ为根据Cubature准则生成的等权值矩阵；ξi表示矩阵ξ的第i列；为k时刻状态估计值；Xi,k|k为的Cubature点；为Xi,k|k的预测值；为状态预测值；Qk为k时刻的过程噪声方差阵；Pk+1|k为状态预测误差方差阵。2)滤波Sk+1|k＝chol(Pk+1|k)(9)Zi,k+1|k＝h(Xi,k+1|k)(11)Pzz,k+1＝Pvv,k+1+Rk+1(15)式中：Sk+1|k为对Pk+1|k进行Cholesky分解得到的上三角矩阵；Xi,k+1|k为的Cubature点；Zi,k+1|k为量测预测值的Cubature点；为量测预测值；Pvv,k+1为量测预测误差方差阵；ek+1为新息向量；Rk+1是量测噪声方差阵；Pzz,k+1为量测总方差；Pxz,k+1为状态量与量测量的协方差阵；Wk+1为滤波系数；为k+1时刻的电力系统状态估计值；Pk+1|k+1为k+1时刻状态估计误差方差阵。步骤5：对k+1时刻的电力系统量测装置采集到的原始量测数据zk+1进行不良数据辨识、修正过程，其流程图如图1所示。首先计算方程(20)～(27)，得到数据修正因子对角阵γ’k+1。若γ’k+1的对角元素等于1，表示该数据是正确数据，该数据对应的量测装置运行正常；若γ’k+1对角元素大于1，表示该数据是不良数据，量测装置数据传输异常或者量测装置失效。将γ’k+1代入方程(28)，计算得到修正后的电力系统量测总方差阵Pzz,k+1。所述的不良数据辨识、修正过程如下：5.1)在保证k+1时刻前的数据已不含不良数据的前提下，选取时间序列滑动窗口长度为T，将k+2-T时刻到k+1时刻的新息向量构成时间序列[ek-T+2,ek-T+3,...,ek+1]，计算窗口内的平均新息协方差：式中：Pe,k+1为平均新息协方差；T为时间序列滑动窗口长度；t代表时间序列的第t个向量，0≤t≤T，且t为整数；ek+2-t为k+2-t时刻的新息向量。当量测量突变时，由于ek+1增大，必然使得平均新息协方差大于式(14)的观测噪声，即：Pe,k+1＞Pvv,k+1+Rk+1(21)式中：Pvv,k+1为量测预测误差方差阵；Rk+1是量测噪声方差阵。构造修正因子γk+1实现突变数据的辨识。γk+1可对Rk+1进行调整，其取值原则是使得上式左右两端相等，即：求解得则当可疑的突变量测量存在时，γk+1中的相应对角元素必将大于1。因此，取γk+1中大于1的对角元素对应的量测量，形成可疑数据集合D1。D1中的可疑数据即为突变数据，实际包含了正确的波动型数据和错误的不良数据。5.2)选取时间序列滑窗长度为T，将k+2-T时刻到k+1时刻的量测向量构成量测量时间序列[zk+2-T,zk+3-T,...,zk+1]，计算皮尔逊相关系数形成m阶相关矩阵，其对角元素为1，非对角元素计算如下：其中：式中：zk+2-t为k+2-t时刻量测装置采集到的量测数据；为量测数据的平均值；rij为各量测量间的相关系数。rij代表了第i个量测量与第j个量测量的相关性强弱，其范围为[-1,1]。|rij|越接近1，表明二者相关性越强；|rij|越接近0，表明二者相关性越弱。计算第i个量测量与其他所有量测量的平均相关系数式中：m为量测数据个数，亦为相关矩阵阶数。若越小，则该量测量与其他量测量的总体相关性越弱，该量测量为不良数据的可能性越大。因此，为辨识可疑的不良数据，采用“末位淘汰”方法，选取与其他量相关性最弱的量测量形成可疑数据集合D2。采用定D2元素个数的方法，其元素个数d2的选取参考D1的元素个数d1，则可取d2＝αd1，α为可疑集长度参考倍数，可根据实际系统选取。5.3)在得到上述可疑数据集合D1和D2之后，取二者交集得到不良数据集B＝D1∩D2，则B中的量测量才是真正的不良数据，其同时满足量测量发本文档来自技高网...

【技术保护点】
1.一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，其特征在于，包括以下步骤：步骤1：在某一时刻时，通过电力系统量测装置采集得到原始数据组成的向量为z，设定需要数据清洗的时刻个数为N，得到需要清洗的总数据集合为{z1，z2，z3，…，zN}；以k代表时刻，利用k时刻的数据对k+1时刻进行预测，进而对k+1时刻的数据zk+1进行清洗；步骤2：建立电力系统的动态模型，得到电力系统动态方程和量测方程；步骤3：设定起始时刻k＝1，则k+1＝2，表示利用第1个时刻的前期准备数据，对第2个时刻的数据z2进行清洗；步骤4：建立容积卡尔曼滤波CKF基本方程，并基于CKF基本方程，得到数据清洗要用到的前期准备数据；首先计算方程(3)～(7)得到电力系统的状态量在k+1时刻的预测值

【技术特征摘要】
1.一种基于改进鲁棒容积卡尔曼滤波的数据清洗方法，其特征在于，包括以下步骤：步骤1：在某一时刻时，通过电力系统量测装置采集得到原始数据组成的向量为z，设定需要数据清洗的时刻个数为N，得到需要清洗的总数据集合为{z1，z2，z3，…，zN}；以k代表时刻，利用k时刻的数据对k+1时刻进行预测，进而对k+1时刻的数据zk+1进行清洗；步骤2：建立电力系统的动态模型，得到电力系统动态方程和量测方程；步骤3：设定起始时刻k＝1，则k+1＝2，表示利用第1个时刻的前期准备数据，对第2个时刻的数据z2进行清洗；步骤4：建立容积卡尔曼滤波CKF基本方程，并基于CKF基本方程，得到数据清洗要用到的前期准备数据；首先计算方程(3)～(7)得到电力系统的状态量在k+1时刻的预测值再计算方程(8)～(12)得到电力系统的量测数据在k+1时刻的预测值然后计算方程(13)得到电力系统量测数据的预测误差方差阵Pvv,k+1；最后计算方程(14)，将k+1时刻量测装置采集的量测数据zk+1减去预测值得到量测新息向量ek+1；所述的CKF主要包括预测和滤波两个基本过程：1)预测Sk|k＝chol(Pk|k)(3)式中：chol(·)表示Cholesky分解；Pk|k为k时刻状态估计误差方差阵；Sk|k为对Pk|k进行Cholesky分解得到的上三角矩阵；n为电力系统节点个数；I为n阶单位矩阵；ξ为根据Cubature准则生成的等权值矩阵；ξi表示矩阵ξ的第i列；为k时刻状态估计值；Xi,k|k为的Cubature点；为Xi,k|k的预测值；为状态预测值；Qk为k时刻的过程噪声方差阵；Pk+1|k为状态预测误差方差阵；2)滤波Sk+1|k＝chol(Pk+1|k)(9)Zi,k+1|k＝h(Xi,k+1|k)(11)Pzz,k+1＝Pvv,k+1+Rk+1(15)式中：Sk+1|k为对Pk+1|k进行Cholesky分解得到的上三角矩阵；Xi,k+1|k为的Cubature点；Zi,k+1|k为量测预测值的Cubature点；为量测预测值；Pvv,k+1为量测预测误差方差阵；ek+1为新息向量；Rk+1是量测噪声方差阵；Pzz,k+1为量测总方差；Pxz,k+1为状态量与量测量的协方差阵；Wk+1为滤波系数；为k+1时刻的电力系统状态估计值；Pk+1|k+1为k+1时刻状态估计误差方差阵；步骤5：对k+1时刻的电力系统量测装置采集到的原始量测数据zk+1进行不良数据辨识、修正过程；首先计算方程(20)～(27)，得到数据修正因子对角阵γ’k+1；若γ’k+1的对角元素等于1，表示该数据是正确数据，该数据对应的量测装置运行正常；若γ’k+1对角元素大于1，表示该数据是不良数据，量测装置数据传输异常或者量测装置失效；将γ’k+1代入方程(28)，计算得到修正后的电力系统量测总方差阵Pzz,k+1；所述的不良数据辨识、修正过程如下：5.1)在保证k+1时刻前的数据已不含不良数据的前提下，选取时间序列滑动窗口长度为T，将k+2-T时刻到k+1时刻的新息向量构成时间序列[ek-T+2,ek-T+3,...,ek+1]，计算窗口内的平均新息协方差：式中：Pe,k+1为平均新息协方差；T为时间序列滑动窗口长度；t代表时间序列的第t个向量，0≤t≤T，且t为整数；ek+2-t为k+2-...

【专利技术属性】
技术研发人员：孙辉，孙越峰，高正男，胡姝博，彭飞翔，周玮，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21