一种针对于电力设备在线监测重复数据的整合系统及方法技术方案

本发明专利技术公开了一种针对于电力设备在线监测重复数据的整合系统及方法，具体为：分析电力设备在线监测数据质量需求，利用字段匹配法和记录匹配法对重复数据进行检测，并清洗；根据重复数据产生的时间及规模特点，分析出现重复数据的原因；制定数据质量评估指标，计算清洗前、后的数据的评估指标值，并生成数据质量评估报告；展示原始数据信息、评估的结果以及数据重复原因。本发明专利技术用于电力设备在线监测数据的整合，有利于在这些海量的在线监测数据中更快、更准确地挖掘有用的信息，为电力设备的状态评估、状态预测打好基础。

【技术实现步骤摘要】
一种针对于电力设备在线监测重复数据的整合系统及方法
本专利技术涉及一种针对于电力设备在线监测重复数据的整合系统及方法，属于电力系统数据监控与分析

技术介绍
随着电力公司对输变电设备状态监测的广度和深度不断扩大，并逐步实现了设备的实时在线监测。同时状态监测向高采样率、连续稳态记录和大存储的趋势发展，逐渐形成了智能电网状态监测大数据。因此，如何对数量庞大的电力设备多源异质数据进行有效处理，是电力企业需要面对的新问题。然而，目前获取的实时数据存在着重复率较高，无法直接对原始数据进行进一步分析和使用。重复数据严重影响了数据的使用和信息的挖掘，因而亟待开展数据清洗工作。同时现阶段，电网工作人员缺乏对在线监测产生重复数据的原因的统计与了解，无法从源头上有效减少这些重复数据的产生。根据现有在线监测数据存在的突出问题，有必要制定一套高效、适用于在线监测重复数据的整合方案，有效地提高数据质量，为后续的电力设备故障诊断工作提供有力保障。
技术实现思路
本专利技术的目的在于提供一种针对于电力设备在线监测重复数据的整合系统及方法，用于电力设备在线监测数据的整合，有利于在这些海量的在线监测数据中更快、更本文档来自技高网...

【技术保护点】
1.一种针对于电力设备在线监测重复数据的整合系统，其特征在于，包括数据层，数据处理层，数据分析层和数据展示层；所述数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；所述数据处理层依次采用字段匹配法和记录匹配法对重复数据进行检测，所述数据处理层对检测到的重复数据进行清洗，所述数据处理层根据数据特点选择质量评估指标，并计算数据清洗前后的评估指标值；所述数据分析层根据数据处理层统计到的重复数据产生的时间及规模特点，利用相似性匹配法匹配出重复数据的原因；所述数据展示层展示原始数据信息和评估结果。

【技术特征摘要】
1.一种针对于电力设备在线监测重复数据的整合系统，其特征在于，包括数据层，数据处理层，数据分析层和数据展示层；所述数据层存储在线监测装置上传的数据，并将数据按时间先后顺序进行分类存储；所述数据处理层依次采用字段匹配法和记录匹配法对重复数据进行检测，所述数据处理层对检测到的重复数据进行清洗，所述数据处理层根据数据特点选择质量评估指标，并计算数据清洗前后的评估指标值；所述数据分析层根据数据处理层统计到的重复数据产生的时间及规模特点，利用相似性匹配法匹配出重复数据的原因；所述数据展示层展示原始数据信息和评估结果。2.根据权利要求1所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据层包括数据传输通信模块、数据存储模块和数据管理模块；所述数据传输通信模块用于在线监测装置数据的上传；所述数据管理模块用于将接收的数据按时间先后顺序进行分类，分成不同的窗口；所述数据存储模块用于分类存储数据。3.根据权利要求2所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据管理模块进行数据分类的方式为：在线监测装置的报送时间为n小时/次，则设置窗口长度为n小时，即将n小时内的数据集划为一类。4.根据权利要求1所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据处理层包括数据质量任务管理模块、数据清洗模块、质量评估指标计算模块和数据检测与统计模块；所述数据检测与统计模块对进入数据处理层不同窗口内的数据进行重复数据检测，所述数据检测与统计模块先采用字段匹配法比较在线监测数据相应属性的对应字段，计算字段的相似度，再利用记录匹配算法，根据选择的属性的权重，进行加权平均，计算记录的相似度，如果两个数据的记录相似度超过了某一阈值，则认为这两个数据是重复的，进行标记；所述数据清洗模块对检测到的重复数据进行清洗；所述数据质量任务管理模块在重复数据的高发/低发时间段调用相应模块进行检测、清洗，将清洗后的数据信息存入质量评估指标计算模块中；所述质量评估指标计算模块计算数据清洗前后的评估指标值。5.根据权利要求4所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据检测与统计模块在对不同窗口内的数据进行重复性检测的同时，对以时间为顺序的n号窗口的最末数据与n+1号窗口的第一个数据进行重复性检测，并对重复数据所处位置进行标记。6.根据权利要求4所述的一种针对于电力设备在线监测重复数据的整合系统，其特征在于，所述数据检测与统计模块包括数据检测与统计定向模块，和数据检测与统计非定向模块，在重复数据产生的高发时间段...

【专利技术属性】
技术研发人员：李建生，蔚超，刘洋，季昆玉，周鹏，陶风波，王有元，王胜权，孙磊，陆云才，黄磊峰，李栋，
申请(专利权)人：国网江苏省电力有限公司电力科学研究院，国家电网有限公司，国网江苏省电力有限公司，重庆大学，国网江苏省电力有限公司泰州供电分公司，江苏省电力试验研究院有限公司，
类型：发明
国别省市：江苏,32