一种基于电能表远程误差诊断的数据清洗与质量评价系统技术方案

本发明专利技术涉及一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：包括数据格式与完整性检查模块、问题数据鉴别与分类模块、采集通道问题定位模块、计量量化误差检测模块、异常值诊断模块、采集数据缺失与错误检测模块、通过伪数检测算法自动识别疑似伪数数据、缺失数据补全模块及数据治理结果指标与评价模块。本发明专利技术实现了电能表的“周期检定”向“失准更换”的转变，节约大量的人力物力成本，减少电子产品对环境的污染，符合国家倡导的新时代绿色可持续发展理念，同时极大提升电能表精细化运维管理水平。

Data cleaning and quality evaluation system based on Remote Error Diagnosis of electric energy meter

【技术实现步骤摘要】
一种基于电能表远程误差诊断的数据清洗与质量评价系统
本专利技术属于电能表数据采集领域，涉及一种基于电能表远程误差诊断的数据清洗与质量评价系统。
技术介绍
2014年底全国网覆盖的用电信息采集系统，已实现对所有电力用户和关口的全面覆盖，实现计量装置在线监测和用户负荷、电量、电压等重要信息的实时采集，可及时、完整、准确地为有关系统进行高级分析和辅助决策研究提供基础数据，为实现电能表智能双向互动提供了坚实的信息基础。当前低压台区数目庞大、建设情况参差不齐的现状使得台区在提升管理水平的过程中面临诸多亟待解决的问题，主要体现在以下4个方面:(1)受供能侧与用能侧双重影响，缺乏对低压台区智能电能表实际运行状态的科学全面评估手段；(2)配网结构、用户用电行为、线损等实际因素对低压台区运行状态的影响难以实现实验室物理复现分析；(3)低压台区智能电能表的运行误差检定精细化程度不够，检定效率低下，检定成本偏高；(4)低压台区智能电能表的运维派单主要依赖于人工，存在运维资源与运维需求间的矛盾。上述问题直接关系到用户的实际利益与国网公司的运行收益。仅以国网天津市电力公司为例，当前低压台区接入用户达580万以上。通过累计拆回分拣20余万电能表统计数据表明，约6.77％的电能表存在计量超差现象，这意味着实际运行电能表中，2.26‰表计可能存在计量超差的隐患，在造成直接经济损失的同时，也对电力资源造成严重浪费，产生不必要的电费纠纷。通过对公开专利文献的检索，并未发现与本专利申请相同的公开专利文献。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出一种基于电能表远程误差诊断的数据清洗与质量评价系统。本专利技术解决其技术问题是通过以下技术方案实现的：一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：包括数据格式与完整性检查模块、问题数据鉴别与分类模块、采集通道问题定位模块、计量量化误差检测模块、异常值诊断模块、采集数据缺失与错误检测模块、通过伪数检测算法自动识别疑似伪数数据、缺失数据补全模块及数据治理结果指标与评价模块。而且，所述的数据格式与完整性检查模块包括：用采数据格式校验：通过自动校验脚本，检查用采数据的文件名格式，数据字段格式；用采数据完整性检查：通过自动校验脚本检查换表记录的旧表和新表信息，并判断换表前后数据是否完整；营销数据格式校验：通过自动校验脚本，检查营销数据的文件名格式，数据字段格式；计量资产系统数据格式校验：通过自动校验脚本，检查MDS数据的文件名格式，数据字段格式；而且，所述的问题数据鉴别与分类模块包括：总表数据问题：运行误差监测模块在对数据进行处理的过程中，可以根据总表数据情况判断总表数据异常问题，并生成数据问题报告；总表数据异常包括：总表数据缺失，总表数据坏点等情况；数据缺失问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断用户表数据是否缺失问题，并生成数据问题报告；数据错误问题：运行误差监测模块在对数据进行处理的过程中，可以根据用户表数据情况判断用户表数据是否错误，并生成数据问题报告；用户表数据错误包括：数据坏点、电表计量问题、疑似伪数问题等；档案问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断档案信息是否缺正确，并生成数据问题报告；档案问题主要包括：台区档案问题(多总表、无总表、无户表)、户变关系问题等。而且，所述的采集通道问题定位模块包括：电能表采集成功情况的判断：基于电能表日冻结数据信息，判断用电用户每天日冻结数据采集成功情况，定位采集未成功的电能表信息及采集未成功的日期；电能表未覆盖：基于营销业务应用系统电能表信息数据及采集系统电能表档案数据，判断电能表覆盖情况，定位出未覆盖的电能表信息以及对应的台区；采集终端问题检测：基于用电信息采集系统日冻结数据、用电信息、通讯方式等数据，判断电能表采集失败是否由采集终端问题导致，定位出采集终端故障等导致的采集失败的电能表信息；采集信道问题检测：基于用电信息采集系统日冻结数据、高频采样96点电压电流曲线、用电信息、通讯方式等数据，判断主站获取冻结数据失败是否由采集信息问题导致数据上传失败，定位出采集信息问题导致主站无法获取冻结数据的电能表信息。而且，所述计量量化误差检测模块包括：计量量化误差的检测：运行误差监测模块会根据检测算法检测出量化误差，在计算误差时将量化误差考虑进去进行计算分析，提高计算精确度；计量量化误差阈值配置：运行误差监测模块可在计算前手动设置误差阈值，运行误差监测模块会根据设置好的误差阈值进行误差计算及分析；计量量化误差知识库构建：运行误差监测模块根据电能表的规格、准确度等级以及生产厂家批次号等信息、经过分析、总结，构建量化误差知识库；运行误差模块在计算的过程中结合量化误差计算电表运行误差，可以提高计算精确度，并可以根据现场核查误差不断精确完善量化误差知识库，提高算法模型计算精确度。而且，所述的异常值诊断模块包括：日冻结数据跳变诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示数先上升后下降的电能表；日冻结数据复位诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示数先复位到0后正常上升的电能表。而且，所述的采集数据缺失与错误检测模块包括：总表示数数据缺失与错误检测:基于电能表日冻结数据、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出台区总表历史供电信息存在冻结示数缺失的电能表及数据缺失的日期；较大用户表数据缺失与错误检测：基于电能表日冻结数据、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出台区下某个较大用电量低压用户或多个较大用电量低压用户历史用电信息存在冻结示数缺失的电能表及数据缺失的日期；总表互感器倍率数据缺失与错误检测：基于电能表日冻结数据、互感器更换信息等数据，通过智能电能表运行误差监测模块模型，检测出台区总表互感器倍率缺失的电能表信息；户表互感器倍率数据缺失与错误检测：基于电能表日冻结数据、互感器更换信息等数据，通过智能电能表运行误差监测模块模型，检测出台区下低压用户互感器倍率缺失的电能表信息；电压电流缺失与错误数据检测：基于高频采样96点电压电流信息、电能表档案信息等数据，通过智能电能表运行误差监测模块模型，检测出电压电流数据缺失的电能表信息；重复数据检测：基于电能表日冻结数据、营销业务应用系统档案变更数据，通过智能电能表运行误差监测模块模型，检测出日冻结数据存在重复的电能表信息。而且，所述的伪数检测算法自动识别疑似伪数数据包括：对疑似伪数数据的电能表进行统计、分析：自动透抄表底数据、智能电本文档来自技高网...

【技术保护点】
1.一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：包括数据格式与完整性检查模块、问题数据鉴别与分类模块、采集通道问题定位模块、计量量化误差检测模块、异常值诊断模块、采集数据缺失与错误检测模块、通过伪数检测算法自动识别疑似伪数数据、缺失数据补全模块及数据治理结果指标与评价模块。/n

【技术特征摘要】
1.一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：包括数据格式与完整性检查模块、问题数据鉴别与分类模块、采集通道问题定位模块、计量量化误差检测模块、异常值诊断模块、采集数据缺失与错误检测模块、通过伪数检测算法自动识别疑似伪数数据、缺失数据补全模块及数据治理结果指标与评价模块。


2.根据权利要求1所述的一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：所述的数据格式与完整性检查模块包括：
用采数据格式校验：通过自动校验脚本，检查用采数据的文件名格式，数据字段格式；
用采数据完整性检查：通过自动校验脚本检查换表记录的旧表和新表信息，并判断换表前后数据是否完整；
营销数据格式校验：通过自动校验脚本，检查营销数据的文件名格式，数据字段格式；
计量资产系统数据格式校验：通过自动校验脚本，检查计量资产系统数据的文件名格式，数据字段格式。


3.根据权利要求1所述的一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：所述的问题数据鉴别与分类模块包括：
总表数据问题：运行误差监测模块在对数据进行处理的过程中，可以根据总表数据情况判断总表数据异常问题，并生成数据问题报告；
数据缺失问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断用户表数据是否缺失问题，并生成数据问题报告；
数据错误问题：运行误差监测模块在对数据进行处理的过程中，可以根据用户表数据情况判断用户表数据是否错误，并生成数据问题报告；
档案问题：运行误差监测模块在对数据进行处理的过程中，可以根据数据情况判断档案信息是否缺正确，并生成数据问题报告。


4.根据权利要求1所述的一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：所述的采集通道问题定位模块包括：
电能表采集成功情况的判断：基于电能表日冻结数据信息，判断用电用户每天日冻结数据采集成功情况，定位采集未成功的电能表信息及采集未成功的日期；
电能表未覆盖：基于营销业务应用系统电能表信息数据及采集系统电能表档案数据，判断电能表覆盖情况，定位出未覆盖的电能表信息以及对应的台区；
采集终端问题检测：基于用电信息采集系统日冻结数据、用电信息、通讯方式等数据，判断电能表采集失败是否由采集终端问题导致，定位出采集终端故障等导致的采集失败的电能表信息；
采集信道问题检测：基于用电信息采集系统日冻结数据、高频采样96点电压电流曲线、用电信息、通讯方式等数据，判断主站获取冻结数据失败是否由采集信息问题导致数据上传失败，定位出采集信息问题导致主站无法获取冻结数据的电能表信息。


5.根据权利要求1所述的一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：所述计量量化误差检测模块包括：
计量量化误差的检测：运行误差监测模块会根据检测算法检测出量化误差，在计算误差时将量化误差考虑进去进行计算分析，提高计算精确度；
计量量化误差阈值配置：运行误差监测模块可在计算前手动设置误差阈值，运行误差监测模块会根据设置好的误差阈值进行误差计算及分析；
计量量化误差知识库构建：运行误差监测模块根据电能表的规格、准确度等级以及生产厂家批次号等信息、经过分析、总结，构建量化误差知识库；运行误差模块在计算的过程中结合量化误差计算电表运行误差，可以提高计算精确度，并可以根据现场核查误差不断精确完善量化误差知识库，提高算法模型计算精确度。


6.根据权利要求1所述的一种基于电能表远程误差诊断的数据清洗与质量评价系统，其特征在于：所述的异常值诊断模块包括：
日冻结数据跳变诊断：基于电能表日冻结数据、高频采样96点电压电流曲线等数据，通过智能电能表运行误差监测模块模型，诊断用电用户历史用电信息存在电能表冻结示...

【专利技术属性】
技术研发人员：刘婧，陈昊，张密，谭煌，苏良立，李媛，乔文俞，李野，李刚，刘浩宇，乔亚男，张兆杰，
申请(专利权)人：中国电力科学研究院有限公司，国网天津市电力公司，国家电网有限公司，
类型：发明
国别省市：北京;11