一种基于矩阵补全的低压台区缺失数据补全方法技术

本发明专利技术公开了一种基于矩阵补全的低压台区缺失数据补全方法，包括以下步骤：以设定采样间隔和采样周期采集低压台区中用户用电数据；采用小波去噪方法对低压台区用户用电数据进行滤波处理；基于低压台区中用户用电数据，建立用户用电数据矩阵，针对缺失数据直接将对应位置元素记录为缺失元素；建立低秩矩阵补全的目标函数，结合SVT算法，通过寻找用户月用电数据矩阵的最小秩实现对缺失元素的补全，得到低压台区缺失数据矩阵的补全矩阵，即补全了缺失数据。本发明专利技术提供的基于矩阵补全的低压台区缺失数据补全方法，考虑了低压台区数据周期性和时序性，通过矩阵补全法可直接对缺失数据集补全，不需要完整数据集进行学习，且补全误差小，实用性强。实用性强。实用性强。

【技术实现步骤摘要】
一种基于矩阵补全的低压台区缺失数据补全方法


[0001]本专利技术涉及电网缺失数据补全
，特别是涉及一种基于矩阵补全的低压台区缺失数据补全方法。

技术介绍

[0002]低压台区是电网直接面向用户侧的窗口，用户侧数据采集按计量功能分，主要采集电流、电压和有功功率等实时数据。利用大数据进行用户侧用电行为分析已经成了一种趋势，但是在数据采集和传输的过程中，由于智能电表的来源不统一，或因本地信道不稳定、人为因素等一系列原因都会造成数据缺失现象，用户侧用电数据的完整性是低压台区理论线损计算、用户负荷预测和非侵入式负荷分解等后续应用的前提，数据的不完整使数据质量通常达不到后续应用要求。对低压台区缺失数据的准确补全是数据处理的关键一步，补全的误差大小决定了后续应用实施的有效性，所以提出一种针对低压台区数据特征的缺失数据补全方法显得尤为重要。
[0003]现有的缺失数据处理方案中，主要有以下几种：
[0004]第一，删除法：如果在数据集中，只有几条数据的某几列中存在缺失值，那么可以直接把这几条数据删除；
[0005]第二，均值/中位数/众数补全：即所有缺失值都用同一个数进行补全，当变量为数值类型时，若其分布服从正态分布则选取均值估计的方法，一般将缺失数据根据其属性的相关系数，将数据分为几组，然后分别计算每组数据的均值，用以估计对应的缺失数据，若是偏态分布则选择中位数估计，若变量的类型非数值类型，则选择众数估计的方法对缺失数据进行估计；
[0006]第三，热卡补全(就近补全)：对于包含缺失值的数据集，在现有的所有数据中寻找与其最为相似的对象，然后用相似对象的值进行估计，对于不同的问题，其相似标准有所区别；
[0007]第四，K最近邻法：先根据欧式距离或相关分析来确定距离缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。
[0008]第五，回归法：基于完整的数据集建立回归方程，对于缺失数据集，将已知属性值代入回归方程得到未知属性值，补全缺失值；
[0009]第六，随机森林算法：利用数据表中某些没有缺失的特征属性来预测某特征属性的缺失值。
[0010]但是，删除法无法应用于低压台区理论线损计算数据集，因线损计算时需选取一个代表日用户用电数据进行计算，该类数据具有时序性，此外，为等时间间隔采集，删除缺失值难以保证后续计算顺利进行；低压台区用户的电流数据，并不服从典型的正态分布或偏态分布，无论采取均值还是中位数对其进行估计，都没有切实合理的理论依据；热卡补全仅从数据分布角度分析，忽略了低压台区电流数据的时序性，在实际运用中所得效果不佳；K最近邻法虽然考虑到了数据时序性，但适用于短时间内不会出现较大变化的数据量，对于
用户处测得的电流数据并不适用；回归法和随机森林算法都是需要完整数据集进行训练学习，不符合实际情况(完整数据集很少且没有代表性)。

技术实现思路

[0011]本专利技术的目的是提供一种基于矩阵补全的低压台区缺失数据补全方法，考虑了低压台区数据周期性和时序性的特性，通过矩阵补全法可直接对缺失数据集补全，不需要完整数据集进行学习，且补全误差小，具有较强的实用价值。
[0012]为实现上述目的，本专利技术提供了如下方案：
[0013]一种基于矩阵补全的低压台区缺失数据补全方法，该方法包括以下步骤：
[0014]S1，以设定采样间隔和采样周期采集低压台区中用户用电数据；
[0015]S2，采用小波去噪方法对低压台区用户用电数据进行数据滤波处理；
[0016]S3，基于低压台区中用户用电数据，建立用户用电数据矩阵，针对缺失数据直接将对应位置元素记录为缺失元素；
[0017]S4，建立低秩矩阵补全的目标函数，结合SVT算法，通过寻找用户月用电数据矩阵的最小秩实现对缺失元素的补全，得到低压台区缺失数据矩阵的补全矩阵，即补全了缺失数据。
[0018]进一步的，所述步骤S1中，以设定采样间隔和采样周期采集低压台区中用户用电数据，具体包括：
[0019]以15min为采样间隔，一天采集96点数据，且各用户的用电行为以天为周期呈现出类周期性规律，实现低压台区中用户用电数据采集。
[0020]进一步的，所述步骤S2中，采用小波去噪方法对低压台区用户用电数据进行数据滤波处理，具体包括：
[0021]S201，选取待测日31天每天96点数据在MATLAB中形成一个信号样本；
[0022]S202，基于信号样本，确定分解层数并进行分解，得到一组小波系数w
j,k
；
[0023]S203，进行阈值处理，对于分解得到的每层小波，用Bayesshrink算法估计阈值，对w
j,k
进行软阈值函数处理，得到估计系数
[0024]S204，利用进行小波重构，得到重构信号即为去噪后的信号。
[0025]进一步的，所述步骤S3中，基于低压台区中用户用电数据，建立用户用电数据矩阵，针对缺失数据直接将对应位置元素记录为缺失元素，具体包括：
[0026]将低压台区某一用户的31天的电流数据矩阵化，形成用户月电流数据矩阵其中每行为一天从00:00至24:00的采样间隔为15分钟的电流数据，包括96个采集点的数据，一个月共有31行，针对空缺数据直接将对应位置元素记录为空，矩阵A为：
[0027][0028]其中，m＝31，n＝96。
[0029]进一步的，所述步骤S4中，建立低秩矩阵补全的目标函数，结合SVT算法，通过寻找
用户月用电数据矩阵的最小秩实现对缺失元素的补全，得到低压台区缺失数据矩阵的补全矩阵，即补全了缺失数据，具体包括：
[0030]S401，低秩矩阵补全的目标函数为：
[0031][0032]式中，Ω代表原缺失矩阵A中可观测到的数据位置(i，j)的集合，为待求补全矩阵。
[0033]S402，此目标函数是非凸且离散的，用矩阵的核范数最小代替矩阵秩，对式(1)进行凸松弛变成凸优化问题，即
[0034][0035]式中，||X||
*
为矩阵X的核范数；
[0036]核范数定义为：
[0037][0038]式中，j为矩阵X的秩，σ
k
(X)为矩阵X从大到小排列的第k个奇异值；
[0039]S403，采用SVT算法对步骤S402中的公式(2)进行正则化，即
[0040][0041]式中，||
·
||
F
表示F-范数，即所有元素的平方和开根号，当λ
→
∞时，公式(4)的最优解收敛到公式(2)的最优解，约束保证了补全矩阵X与原缺失矩阵A的可观测值相等，P
Ω
(
·
)表示一个作用于Ω的正交映射，其定义为：
[0042][0043]构造最优化问题公式(4)的拉格朗日函数为：
[0044][0045]式中，Y为拉格朗日乘子；
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于矩阵补全的低压台区缺失数据补全方法，其特征在于，包括以下步骤：S1，以设定采样间隔和采样周期采集低压台区中用户用电数据；S2，采用小波去噪方法对低压台区用户用电数据进行数据滤波处理；S3，基于低压台区中用户用电数据，建立用户用电数据矩阵，针对缺失数据直接将对应位置元素记录为缺失元素；S4，建立低秩矩阵补全的目标函数，结合SVT算法，通过寻找用户月用电数据矩阵的最小秩实现对缺失元素的补全，得到低压台区缺失数据矩阵的补全矩阵，即补全了缺失数据。2.根据权利要求1所述的基于矩阵补全的低压台区缺失数据补全方法，其特征在于，所述步骤S1中，以设定采样间隔和采样周期采集低压台区中用户用电数据，具体包括：以15min为采样间隔，一天采集96点数据，且各用户的用电行为以天为周期呈现出类周期性规律，实现低压台区中用户用电数据采集。3.根据权利要求2所述的基于矩阵补全的低压台区缺失数据补全方法，其特征在于，所述步骤S2中，采用小波去噪方法对低压台区用户用电数据进行数据滤波处理，具体包括：S201，选取待测日31天每天96点数据在MATLAB中形成一个信号样本；S202，基于信号样本，确定分解层数并进行分解，得到一组小波系数w
j,k
；S203，进行阈值处理，对于分解得到的每层小波，用Bayesshrink算法估计阈值，对w
j,k
进行软阈值函数处理，得到估计系数S204，利用进行小波重构，得到重构信号即为去噪后的信号。4.根据权利要求2所述的基于矩阵补全的低压台区缺失数据补全方法，其特征在于，所述步骤S3中，基于低压台区中用户用电数据，建立用户用电数据矩阵，针对缺失数据直接将对应位置元素记录为缺失元素，具体包括：将低压台区某一用户的31天的电流数据矩阵化，形成用户月电流数据矩阵其中每行为一天从00:00至24:00的采样间隔为15分钟的电流数据，包括96个采集点的数据，一个月共有31行，针对空缺数据直接将对应位置元素记录为空，矩阵A为：其中，m＝31，n＝96。5.根据权利要求4所述的基于矩阵补全的低压台区缺失数据补全方法，其特征在于，所述步骤S4中，建立低秩矩阵补全的目标函数，结合SVT算法，通过寻找用户月用电数据矩阵的最小秩实现对缺失元素的补全，得到低压台区缺失数据矩阵的补全矩阵，即补全了缺失数据，具体包括：S401，低秩矩阵补全的目标函数为：
式中，Ω代表原缺失矩阵A中可观测到的数...

【专利技术属性】
技术研发人员：赵洪山，寿佩瑶，
申请(专利权)人：华北电力大学保定，
类型：发明
国别省市：