一种配电物联网边缘侧的配变数据清洗修复方法和系统技术方案

本发明专利技术提供了一种配电物联网边缘侧的配变数据清洗修复方法和系统，包括：删除待清洗的配电物联网边缘侧的配变时序数据中的异常数据，得到第一配变时序数据；基于第一配变时序数据中缺失的数据，确定缺失程度；根据缺失程度，利用第一配变时序数据对缺失的数据进行填补或从完整历史配变时序数据中选择相关性最高的数据进行填补；本发明专利技术根据数据缺失程度采用不同的插值方法，基于最小二乘法的均值插补法简单易行，基于数据相关系数的插补方式能够很好地体现相似日数据的负荷特性曲线，同时也可有效地规避均值插补法所碰到的数据突变问题。因此，本发明专利技术具有较高的精度和较强的实用性，使用简单，适用于分布式配电物联网边缘侧的配变数据的清洗修复。侧的配变数据的清洗修复。侧的配变数据的清洗修复。

【技术实现步骤摘要】
一种配电物联网边缘侧的配变数据清洗修复方法和系统


[0001]本专利技术属于电力数据分析
，具体涉及一种配电物联网边缘侧的配变数据清洗修复方法和系统。

技术介绍

[0002]一直以来，配电网改造的重点主要放在10kV及以上网络，作为“最后一公里”的低压配电网长期处于监测盲区。以配电变压器供电范围为单位的片区管理，可对台区内网络进行自主综合监控、管理与双向互动，有效提升供电可靠性和供电质量，因此已成为低压配电网精益化管控的重要推广技术手段。融合新一代信息通信技术的配电物联网为解决配电台区内部精益化运维提供了新的解决思路。以基于物联网边缘计算理念的台区智能融合终端为台区数据中心，构建一套集中计算与分布式智能分析协同决策的配电台区一体化管控体系。
[0003]尽管配电物联网技术使得配电台区可观可测成为可能，但是受到配电变压器自身计量分散性、多样性和复杂性的影响，获取到的数据质量尚待提高。为避免配电海量数据的传输处理对系统主站和通信架构带来的挑战，需要在台区智能融合终端对接入数据进行本地筛选处理、清洗修复，建立完整、准确、可靠、有效的配变量测数据档案，支撑配电物联网高级应用。现有配电变压器的数据质量问题主要表现为数据异常和数据缺失。数据异常是指数据明显偏离于正常数值的变化范围且不重复出现；数据缺失是指部分数据段中存在大量的0值，空值。上述数据问题，包含其他一些客观条件的制约和随机的多变因素，现有数据清洗修复方法不够简便，不适用于分布式的配电物联网边缘侧的配变数据的清洗修复。

技术实现思路

[0004]为克服上述现有技术的不足，本专利技术提出一种配电物联网边缘侧的配变数据清洗修复方法，包括：
[0005]删除待清洗的配电物联网边缘侧的配变时序数据中的异常数据，得到第一配变时序数据；
[0006]基于所述第一配变时序数据中缺失的数据，确定缺失程度；
[0007]根据所述缺失程度，利用所述第一配变时序数据对缺失的数据进行填补或从完整历史配变时序数据中选择相关性最高的数据进行填补。
[0008]优选的，所述根据所述缺失程度，利用所述第一配变时序数据对缺失的数据进行填补或从完整历史配变时序数据中选择相关性最高的数据进行填补，包括：
[0009]判断所述缺失程度是否小于等于缺失数量阈值：
[0010]若是，则基于最小二乘法，利用所述第一配变时序数据对缺失的数据进行填补；
[0011]否则，在所述第一配变时序数据对应的完整历史配变时序数据中选择最相似的相关数据，并基于所述相关数据对缺失的数据进行填补。
[0012]优选的，所述基于最小二乘法，利用所述第一配变时序数据对缺失的数据进行填
补，包括：
[0013]基于所述第一配变时序数据，从缺失的数据前后各取多个配变时序数据构成有效数据集；
[0014]基于最小二乘法，对所述有效数据集进行拟合，得到配变时序数据中配变数据与时间之间的对应关系；
[0015]根据缺失的数据对应的时间以及配变数据与时间之间的对应关系，计算缺失的数据的数值，并采用所述数值及对应的时间对缺失的数据进行填补。
[0016]优选的，所述在所述第一配变时序数据对应的完整历史配变时序数据中选择最相似的相关数据，并基于所述相关数据对缺失的数据进行填补，包括：
[0017]采集与所述第一配变时序数据处于同一台区智能融合终端在不同历史采集周期内的多个完整历史配变时序数据；
[0018]分别计算所述第一配变时序数据与各完整历史配变时序数据间的皮尔逊相关系数；
[0019]选择皮尔逊相关系数最大的完整历史配变时序数据作为相关数据；
[0020]利用最小二乘法进行线性回归，确定所述相关数据与所述第一配变时序数据之间特征描述式；
[0021]利用所述特征描述式和相关数据，计算缺失的数据的数值，并用所述数值和对应时间对缺失的数据进行填补。
[0022]优选的，所述特征描述式的计算式如下：
[0023]y＝ax+b
[0024]式中，y为第一配变时序数据，x为相关数据，a为特征系数，b为特征常数。
[0025]优选的，所述特征常数b的计算式如下：
[0026][0027]式中，n为采集周期内完整历史配变时序数据中配变数据的个数；m为第一配变时序数据的总和，共m0个配变数据；y
i
为第一配变时序数据中的第i个配变数据，且x
i
为相关数据中第i个配变数据；为采集周期内第一配变时序数据中m0个配变数据的平均值，为采集周期内相关数据中m0个配变数据的平均值。
[0028]优选的，所述特征系数a的计算式如下：
[0029][0030]优选的，所述皮尔逊相关系数的计算式如下：
[0031][0032]式中，为第d个历史采集周期的完整历史配变时序数据与第一配变时序数据间的皮尔逊相关系数；n为采集周期内完整历史配变时序数据中配变数据的个数；m为第一配变时序数据的总和，共m0个配变数据；y
i
为第一配变时序数据中的第i个配变数据，且x
d,i
为第d个历史采集周期的完整历史配变时序数据中的第i个配变数据。
[0033]优选的，所述删除待清洗的配电物联网边缘侧的配变时序数据中的异常数据，包括：
[0034]将待清洗的配电物联网边缘侧的配变时序数据中的0值数据和前后连续两次量测增幅超过预设阈值的配变数据做为异常数据，并将所述异常数据进行删除。
[0035]优选的，所述判断所述缺失程度是否小于等于缺失数量阈值之前，还包括：
[0036]判断所述缺失程度是否大于可修复阈值：
[0037]若是，则不进行修复并结束，否则，不操作。
[0038]基于同一专利技术构思，本申请还提供了一种配电物联网边缘侧的配变数据清洗修复系统，包括：异常删除模块、缺失程度模块和填补模块；
[0039]所述异常删除模块，用于删除待清洗的配电物联网边缘侧的配变时序数据中的异常数据，得到第一配变时序数据；
[0040]所述缺失程度模块，用于基于所述第一配变时序数据中缺失的数据，确定缺失程度；
[0041]所述填补模块，用于根据所述缺失程度，利用所述第一配变时序数据对缺失的数据进行填补或从完整历史配变时序数据中选择相关性最高的数据进行填补。
[0042]优选的，所述填补模块，具体用于：
[0043]判断所述缺失程度是否小于等于缺失数量阈值：
[0044]若是，则基于最小二乘法，利用所述第一配变时序数据对缺失的数据进行填补；
[0045]否则，在所述第一配变时序数据对应的完整历史配变时序数据中选择最相似的相关数据，并基于所述相关数据对缺失的数据进行填补。
[0046]优选的，所述基于最小二乘法，利用所述第一配变时序数据对缺失的数据进行填补，包括：
[0047]基于所述第一配变时序数据，从缺失的数据前后各取多个配变时序数据构成有效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种配电物联网边缘侧的配变数据清洗修复方法，其特征在于，包括：删除待清洗的配电物联网边缘侧的配变时序数据中的异常数据，得到第一配变时序数据；基于所述第一配变时序数据中缺失的数据，确定缺失程度；根据所述缺失程度，利用所述第一配变时序数据对缺失的数据进行填补或从完整历史配变时序数据中选择相关性最高的数据进行填补。2.如权利要求1所述的方法，其特征在于，所述根据所述缺失程度，利用所述第一配变时序数据对缺失的数据进行填补或从完整历史配变时序数据中选择相关性最高的数据进行填补，包括：判断所述缺失程度是否小于等于缺失数量阈值：若是，则基于最小二乘法，利用所述第一配变时序数据对缺失的数据进行填补；否则，在所述第一配变时序数据对应的完整历史配变时序数据中选择最相似的相关数据，并基于所述相关数据对缺失的数据进行填补。3.如权利要求2所述的方法，其特征在于，所述基于最小二乘法，利用所述第一配变时序数据对缺失的数据进行填补，包括：基于所述第一配变时序数据，从缺失的数据前后各取多个配变时序数据构成有效数据集；基于最小二乘法，对所述有效数据集进行拟合，得到配变时序数据中配变数据与时间之间的对应关系；根据缺失的数据对应的时间以及配变数据与时间之间的对应关系，计算缺失的数据的数值，并采用所述数值及对应的时间对缺失的数据进行填补。4.如权利要求2所述的方法，其特征在于，所述在所述第一配变时序数据对应的完整历史配变时序数据中选择最相似的相关数据，并基于所述相关数据对缺失的数据进行填补，包括：采集与所述第一配变时序数据处于同一台区智能融合终端在不同历史采集周期内的多个完整历史配变时序数据；分别计算所述第一配变时序数据与各完整历史配变时序数据间的皮尔逊相关系数；选择皮尔逊相关系数最大的完整历史配变时序数据作为相关数据；利用最小二乘法进行线性回归，确定所述相关数据与所述第一配变时序数据之间特征描述式；利用所述特征描述式和相关数据，计算缺失的数据的数值，并用所述数值和对应时间对缺失的数据进行填补。5.如权利要求4所述的方法，其特征在于，所述特征描述式的计算式如下：y＝ax+b式中，y为第一配变时序数据，x为相关数据，a为特征系数，b为特征常数。6.如权利要求5所述的方法，其特征在于，所述特征常数b的计算式如下：
式中，n为采集周期内完整历史配变时序数据中配变数据的个数；m为第一配变时序数据的总和，共m0个配变数据；y
i
为第一配变时序数据中的第i个配变数据，且x
i
为相关数据中第i个配变数据；为采集周期内第一配变时序数据中m0个配变数据的平均值，为采集周期内相关数据中m0个配变数据的平均值。7.如权利要求6所述的方法，其特征在于，所述特征系数a的计算式如下：8.如权利要求4所述的方法，其特征在于，所述皮尔逊相关系数的计算式如下：式中，为第d个历史采集周期的完整历史配变时序数据与第一配变时序数据间的皮尔逊相关系数；n为采集周期内完整历史配变时序数据中配变数据的个数；m为第一配变时序...

【专利技术属性】
技术研发人员：林佳颖，郭屾，王鹏，张冀川，
申请(专利权)人：国家电网有限公司国网河南省电力公司国网江苏省电力有限公司国网河南省电力公司鹤壁供电公司，
类型：发明
国别省市：