基于电网任意分割区域的多源数据纠错处理方法及系统技术方案

本发明专利技术公开了一种基于电网任意分割区域的多源数据纠错处理方法及系统，方法包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本发明专利技术利用任意分割区域的多源数据纠错方法，提升了数据质量。

【技术实现步骤摘要】
基于电网任意分割区域的多源数据纠错处理方法及系统
本申请涉及数据处理
，尤其涉及一种基于电网任意分割区域的多源数据纠错处理方法及系统。
技术介绍
目前，传统的电力数据修复方法主要有缺失数据处理和不一致数据处理。其中，缺失数据处理包括单一填补法和多重填补法，其中单一填补法即对缺失值构造单一替代值进行填补，常用方法有平均值或中间数填补法、回归填补法、最大期望填补法等。但是单一值填补法往往不能反映出原有数据集的不确定性，可能造成较大偏差。多重填补法即采用多个数值进行填充，然后用针对完整数据集的方法对它们进行分析，从而得出综合结果，常见方法有趋势得分法等。该类计算往往复杂且算法需要根据业务需求不断完善。不一致数据处理，目前常采用的方法有排序、融合和依据规则等方式。数据的不一致可以划分为两种类型，即上下文独立的冲突和上下文依赖的冲突两种。上下文独立冲突是指一些外部的随机因素造成的不一致，这类问题的解决一般为人工干预或特定的方法。上下文依赖的冲突是指源于不同数据源的数据由于各系统或应用间固有的数据设计差异或表达因素造成的不一致，这种类型的冲突采用机器学习的方法学习转换规则来解决不一致的问题，也可对每个数值从不同的属性参数来评估，其整体评估值是各个特征评估值的线性组合，最后根据评估值确定哪个数据为唯一正确的。由此可以看出，利用传统的数据修复方法，无论是缺失数据处理方法还是不一致数据处理方法，均无法实现对数据的准确治理，甚至还需人工干预，对于海量的电网数据来说，粗略的数据治理方法，已无法满足电网精益化管理分析的要求。另外，利用传统的数据修复方法，无法人为的选择对关心区域进行数据纠错治理，仅能够对指定区域或特定电压等级进行数据治理。因此，如何有效的实现电网异常数据的准确定位、自动纠错、过程记录的全过程管理，是一项亟待解决的问题。
技术实现思路
有鉴于此，本申请提供了一种基于电网任意分割区域的多源数据纠错处理方法，基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。本申请提供了一种基于电网任意分割区域的多源数据纠错处理方法，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。优选地，所述基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据包括：基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。优选地，所述定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正包括：根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；根据异常类型对变电站进行分类；利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。优选地，所述根据异常类型对变电站进行分类包括：影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。优选地，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。一种基于电网任意分割区域的多源数据纠错处理系统，包括：处理模块，用于基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；自动成图模块，用于基于网格自动布图算法和正交自动布图算法，完成自动成图；分割模块，用于在电网理论线损计算的基础上，对电网进行分割；第一确定模块，用于根据聚类分析方法，确定影响线损率的聚类因子集；第二确定模块，用于利用正负相关分析方法对电网数据进行分析，确定出异常数据；修正模块，用于定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；提供模块，用于根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。优选地，所述处理模块在执行基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据时，具体用于：基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。优选地，所述修正模块在执行定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正时，具体用于：根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；根据异常类型对变电站进行分类；利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。优选地，所述修正模块在执行根据异常类型对变电站进行分类时，具体用于：影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。优选地，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。综上所述，本专利技术公开了一种基于电网任意分割区域的多源数据纠错处理方法，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。本专利技术基于同期线损多源融合数据，利用大数据Kettle工具对同期数据进行抽取、转换、分析，对异常数据采用基于任意分割区域的多源数据纠错处理方法，逐层、逐区域对电网异常数据进行纠错处理，实现了电网异常数据的准确定位、自动纠错、过程记录的全过程管理。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术公开的一种基于电网任意分割区域的多源数据纠错处理方法实施例1的流程图；图2为本专利技术公开的一种基于电网任意分割区域的多源数据纠错处理方法实施例2的流程图；图3为本专利技术公开的一种基于电网任意分割区域的多源数据纠错处理系统实施例1的结构示意图；图4为本专利技术公开的一种基于电网任意分割区域的多源数据纠错处理系统实施例2的结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本本文档来自技高网...

【技术保护点】
1.一种基于电网任意分割区域的多源数据纠错处理方法，其特征在于，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。

【技术特征摘要】
1.一种基于电网任意分割区域的多源数据纠错处理方法，其特征在于，包括：基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据；基于网格自动布图算法和正交自动布图算法，完成自动成图；在电网理论线损计算的基础上，对电网进行分割；根据聚类分析方法，确定影响线损率的聚类因子集；利用正负相关分析方法对电网数据进行分析，确定出异常数据；定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正；根据数据修正结果，记录电网异常数据修正过程，提供异常数据纠错处理工单。2.根据权利要求1所述的方法，其特征在于，所述基于大数据Kettle工具，对同期线损数据进行处理，得到各层级数据包括：基于大数据Kettle工具，对同期线损数据进行抽取、转换处理，得到各层级数据。3.根据权利要求1所述的方法，其特征在于，所述定位电网异常数据并进行分割，利用电网任意分割区域多源数据纠错方法，结合潮流计算方法，对电网异常数据进行修正包括：根据分析结果，遍历出现异常数据的变电站，对电网进行自动分割；根据异常类型对变电站进行分类；利用已修正的数据与拓扑连接关系，通过任意分割区域潮流计算来验证已修正的节点数据；递推校验及修正下一个异常变电站，逐步缩小采集异常变电站范围。4.根据权利要求3所述的方法，其特征在于，所述根据异常类型对变电站进行分类包括：影响潮流计算的边界异常数据，根据节点功率平衡原则进行校验；不影响潮流计算的中间异常数据，根据潮流计算结果修正中间异常数据。5.根据权利要求4所述的方法，其特征在于，所述出现异常数据的变电站为：一个单独的变电站，或若干个连接在一起的变电站。6.一种基于电网任意分割区域的多源数据纠错处理系统，其特征在于，包括：处理模块，用于基于...

【专利技术属性】
技术研发人员：王维洲，刘道新，胡航海，李文娟，拜润卿，刘福潮，史玉杰，何欣，陈仕彬，邢延东，张震雷，刘文飞，张海龙，
申请(专利权)人：北京中电普华信息技术有限公司，国网信息通信产业集团有限公司，国家电网有限公司，
类型：发明
国别省市：北京,11