一种中长期负荷数据的异常值处理方法技术

本发明专利技术实施例公开了一种中长期负荷数据的异常值处理方法。该中长期负荷数据的异常值处理方法包括：识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；对所述异常数据进行行业数据异常度校核；若异常程度在正常的范围内，则对该异常数据进行修正。采用本发明专利技术实施例的中长期负荷数据的异常值处理方法针对异常数据进行修复后，可以使得电量预测相对误差有明细的下降。

【技术实现步骤摘要】
一种中长期负荷数据的异常值处理方法
本专利技术涉及电力需求预警预测分析相关
，具体的说是涉及一种中长期负荷数据的异常值处理方法。
技术介绍
在电力需求预警预测分析相关
中，如果一些数据点不满足负荷曲线的一般规律，会对预警与预测结果产生误导，那么这些数据点被称为异常数据点。在这一定义下，不仅量测和数据传输的错误导致异常数据点的产生，而且用户侧负荷的异常波动也会被认为是异常数据点。用于电力需求预警预测分析的数据多为从电力系统直接采集来的电量原始数据，这些数据由于存在着一些问题而无法直接应用于具体的分析中。其中，电力需求预警与预测中的异常数据点通常由有以下三种产生原因：数据采集错误、配电用电波动和统计制度妨害。1、数据采集错误：所有由二次侧故障，包括量测失效、通信故障和数据处理系统错误，导致的异常数据点都属于数据采集错误。这一阶段所产生的异常数据所占比例最高，对预警和预测的干扰也最大，但其异常数据的主要模式也最容易辨识。其常见模式主要有零值数据点、负数值数据点和雷同现象。零数据点和负值数据点为系统中所占比例最高的异常数据点，其特征为该点的数据记录为空、为零或为负值。雷同现象：雷同现象是指在两个不同的时间点上全社会用电量、各行业用电量都同时出现完全一致的情况，这多数是由数据处理系统的错误造成的。2、配电网波动：用电量的异常数据可能由用户侧偶发的非规律性的用电行为导致。例如某地在连续几天内举办大型的文艺演出则该地本月的用电量就会出现非规律性的异常上升，这种原因导致的异常数据模式表现为离散值数据点。离群值是少数的几个孤立点，其数值与其他的点数值相差较大。之所以出现这种现象是因为导致其发生的用电行为是偶发的，一旦这种偶发的用电行为结束，这种异常现象则立刻结束。3、统计制度妨害电力需求预警预测分析用到的数据涉及省级行政单位内的行业用电量数据，而现阶段在省级行政单位内不同的行业在用电量的统计制度方面差异较大，主要表现为不同行业用电量的统计起始年限早晚不一，有的行业在统计的过程中统计口径还会发生变化，这就产生了空值数据点和阶跃现象。空值数据点为统计起始年限较晚的行业在统计起始年限之前的时间点上为空值。阶跃现象是指用电量在初始段内维持在某一固定的水平上，到达某时间点时就突变到与之前差距较大的某一数值上，此后便维持在该数值水平上下。由于上述电量数据的采集、传输等环节会出现各种错误，一些随机因素会造成用电量数据短时间内的剧烈波动，这些错误或不符合电量序列整体变化规律的问题数据会导致错误的分析结果。基于上述的现象，在进行电力需求预警与预测分析之前首先要对原始的电量数据进行异常值处理。
技术实现思路
针对现有技术之不足，本专利技术的一个方面提供了一种中长期负荷数据的异常值处理方法。所述中长期负荷数据的异常值处理方法包括：识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；对所述异常数据进行行业数据异常度校核；若异常程度在正常的范围内，则对该异常数据进行修正。根据一个优选的实施方式，识别异常数据的方法包括：生成电量矩阵E；其中，所述电量矩阵E的第一维指标为行业序号，第二维指标为时间序号；对应于用电量矩阵E，生成异常数据标识矩阵I；所述异常数据标识矩阵I大小与E相同；当E(i,j)为正确数据时，I(i,j)为零；当E(i,j)为异常数据时，I(i,j)被标识为一个非零值；其中，A为E的第一维指标集，B为E的第二维指标集。根据一个优选的实施方式，识别空值、零值和负值数据点的方法为：如果E(i,j)为空值、零值或负值，则将I(i,j)标记为1，表示空值、零值或负值数据点；识别雷同现象的方法为：如果都有E(i，j1)＝E(i，j2)那么，将I(i，j2)标记为2，其中i∈A，表示雷同值数据点。根据一个优选的实施方式，识别离群值数据点的方法包括：辨识出异常增量，具体为：令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识：其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；取k＝5，则X落在区间内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％；如果增量落在了这个区间之外，则这个增量是异常增量；如果ΔEi(j)和ΔEi(j-1)都是异常增量，并且两者分别落在了上述区间的两侧，那么E(i，j)是离群值点，记I(i，j)为3。根据一个优选的实施方式，识别阶跃现象的方法包括：辨识出异常增量，具体为：令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5D(ΔEi(j))]中的概率为96％；如果增量落在了这个区间之外，则这个增量是异常增量；对于行业i，如果仅有ΔEi(j)为异常增量，则行业i发生了阶跃现象，记I(i，jk)为4，jk＝1，2，...，j，表示行业i所有的jk点是阶跃异常值。根据一个优选的实施方式，对异常数据进行行业数据异常度校核的方法包括：采用如下公式计算行业异常度λ(i)＝n1(i)/n(i)其中，λ(i)为行业异常度，其中n1(i)为行业i用电量异常点的数目，n(i)为行业i用电量数据点的总数；如果λ(i)＜λlim，则认为行业i通过异常度校核，其异常程度在正常的范围内，能够进行异常点的修正；其中，λlim为判断行业i属于数据异常行业的最小值。根据一个优选的实施方式，对数据进行修正的方法为：以线性插值修正的方式对异常数据进行线性插值修正。本专利技术的另一个方面提供了一种中长期负荷数据异常值处理系统。所述中长期负荷数据的异常值处理系统，其特征在于，所述系统包括：数据获取模块，用于获取数据；异常数据识别模块，用于识别异常数据；行业数据异常度校核模块，用于对异常数据进行行业数据异常度校核；修正模块，用于对异常数据进行修正。本专利技术的再一个方面提供了一种中长期负荷数据异常值处理装置。所述中长期负荷数据的异常值处理装置，所述装置包括处理器以及存储器，所述存储器用于存储指令，其特征在于，所述指令被所述处理器执行时，导致所述装置实现如上任意一项所述本文档来自技高网...

【技术保护点】
1.一种中长期负荷数据的异常值处理方法，其特征在于，包括：/n识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；/n对所述异常数据进行行业数据异常度校核；/n若异常程度在正常的范围内，则对该异常数据进行修正。/n

【技术特征摘要】
1.一种中长期负荷数据的异常值处理方法，其特征在于，包括：
识别异常数据；其中，所述异常数据包括空值、零值、负值数据点、雷同现象、离群值数据点和阶跃现象；
对所述异常数据进行行业数据异常度校核；
若异常程度在正常的范围内，则对该异常数据进行修正。


2.根据权利要求1所述的一种中长期负荷数据的异常值处理方法，其特征在于，识别异常数据的方法包括：
生成电量矩阵E；其中，所述电量矩阵E的第一维指标为行业序号，第二维指标为时间序号；
对应于用电量矩阵E，生成异常数据标识矩阵I；所述异常数据标识矩阵I大小与E相同；

j∈B，当E(i，j)为正确数据时，I(i，j)为零；当E(i，j)为异常数据时，I(i，j)被标识为一个非零值；
其中，A为E的第一维指标集，B为E的第二维指标集。


3.根据权利要求2所述的一种中长期负荷数据的异常值处理方法，其特征在于，
识别空值、零值和负值数据点的方法为：

j∈B，如果E(i，j)为空值、零值或负值，则将I(i，j)标记为1，表示空值、零值或负值数据点；
识别雷同现象的方法为：

如果都有E(i，j1)＝E(i，j2)，那么，将I(i，j2)标记为2，其中i∈A，表示雷同值数据点。


4.根据权利要求2所述的一种中长期负荷数据的异常值处理方法，其特征在于，
识别离群值数据点的方法包括：
辨识出异常增量，具体为：

j∈B，令ΔEi(j)＝E(i，j+1)-E(i，j)表示用电序列两点间的增量；并根据如下公式对异常增量做出辨识：



其中，X表示随机变量，E(X)表示随机变量X的数学期望，D为该随机变量的方差，k为常数，表示随机变量离开期望的范围；
取k＝5，则X落在区间[E(X)-5D(X)，E(X)+5D(X)]内的概率约为96％；在同样的标准下，随机变量ΔEi(j)落在区间[E(ΔEi(j))-5D(ΔEi(j))，E(ΔEi(j))+5...

【专利技术属性】
技术研发人员：胡迎迎，王尧，李佳，邓娇娇，刘红丽，童星，
申请(专利权)人：国网山西省电力公司经济技术研究院，深圳市橙智科技有限公司，
类型：发明
国别省市：山西;14