一种对特高压在线监测数据进行挖掘并评价的方法及系统技术方案

本发明专利技术公开了一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：步骤1，对在线监测的重复数据进行清洗；步骤2，基于关联规则对在线监测的异常数据进行清洗；以及步骤3，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，则结束；若不满足，则重新返回步骤2。本发明专利技术还公开了一种对特高压电力设备在线监测数据进行挖掘并评价的系统，包括：重复数据清洗单元、异常数据清洗单元、和分析评价单元。本发明专利技术的有益效果在于：提出基于关联规则的异常数据清洗方法，可有效分辨异常数据；建立了数据质量评价体系，实现特高压在线监测数据的实时监控和在线考评。

【技术实现步骤摘要】

本专利技术涉及特高压输变电
，并且更具体地，涉及一种对特高压在线监测数据进行挖掘并评价的方法及系统。
技术介绍
随着特高压电网建设的不断推进以及用户对电力系统安全稳定运行的要求日益提高，电力公司对输变电设备状态监测的广度和深度不断扩大，状态监测向高采样率、连续稳态记录和大存储的趋势发展，逐渐形成了特高压电网状态监测大数据。如何在这些海量的在线监测数据中更快、更准的挖掘有用的信息已成为当前研究的热点领域。目前中国特高压电力设备在线监测数据存在着重复率较高，部分数据缺失等突出问题，这些问题使得采集的到的数据质量较低，无法直接对原始数据进行进一步分析和使用。具体问题如下：1.数据重复当数据传输的频率远大于传感器采样频率时，将使系统获取大量的重复数据，不仅占用了大量的存储空间，还导致数据价值的降低。以2016年3月22日复龙8111换流变B相CO气体含量为例，在线监测装置每4小时对CO气体含量进行报送，获得的监测数据通过间隔层传入站控层的状态信息接入控制器(ConditionInformationAcquisitionController,CAC)装置中，CAC装置再定期向网省的数据中心传输数据。但由于CAC装置设置的传输周期过短(约为3分钟)，导致CAC装置会向数据中心传输大量的重复数据，极大地占用了系统的存储空间。2.数据异常数据异常主要指设备正常运行情况下在线监测数据的缺失和数据错误。受设备、环境和运行状态等因素影响，异常数据特点较为复杂。安装在现场的各种远方监测设备、用电信息采集终端和各类通信设备长期暴露于户外，部分设备环境适应能力较差，故障率较高，当出现故障时会产生大量监测数据漏传。其次各环节设备的制造工艺和安装缺陷以及调试和使用上的波动都会带来各种各样的误差因素，这些误差因素包括：时间不同步导致数据采集的不同时性、三相不平衡及功率因数变化导致的误差。另外，在线监测数据传输网络所使用的通信方式在电力系统中较为复杂，信道既包括可靠性很强的光纤以太网方式，也有一些质量较差的配电载波、GPRS或3G无线等通信方式，以及小众的无线扩频、Zigbee技术。这些信道当遭受过电压、大电流冲击等强电磁干扰时会出现错码断码现象。重复及异常数据严重影响了数据的使用和信息的挖掘，由于特高压设备发展处于起步阶段，还没有针对其在线监测数据的完整挖掘体系；数据汇集的重复，异常数据问题暴露不久，现有针对在线监测领域的异常值处理方法多采用阈值标定的方法，难以分辨设备缺陷造成的异常值，以及数值较小异常值；重复数据多采用定频采样的方式，容易发生遗漏；没有针对特高压设备在线监测数据处理质量的完整评价体系。综上，根据现有在线监测数据存在的突出1问题，亟待制定一套高效、适用于在线监测数据的清洗及评价方法，有效地提高数据质量，为后续的输变电设备故障诊断工作提供有力保障。
技术实现思路
为了解决上述问题，根据本专利技术的一个方面，提供了一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：对在线监测的重复数据进行清洗；基于关联规则对在线监测的异常数据进行清洗；以及对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，结束；若不满足，则重新对异常数据进行清洗。优选地，其中所述对在线监测的重复数据进行清洗包括：预处理、重复记录监测和冲突处理。优选地，其中通过设置相似阈值Rsimf的方式来对在线监测的重复数据进行清洗。优选地，其中所述相似动态阈值可表示为：其中，若Rsim(R1，R2)>Rsimf(R1，R2)，则认为记录极度相似或完全重复，采用机器自动合并/删除方式处理；若Rsim(R1，R2)<Rsimf(R1，R2)，则认为两记录略微相似，采用人工方式进行手动合并/删除。优选地，其中根据预测值和实际值的误差与误差阈值的大小确定异常数据，当误差超过所述误差阈值时，该时间点处的在线监测数据为异常值。优选地，其中所述有效性阈值的计算公式为：其中，Dr为数据集的数据总数，Dq为问题数据数。优选地，其中所述完备性阈值的计算公式为：其中，Dr为数据集的数据总数，Ds为缺失数据个数。优选地，其中所述规范性阈值的计算公式为：其中，Cr为数据集的记录总数，Rq为问题记录数，Cpd为数据表中数据项的总署，Cs为缺少的数据项个数。优选地，其中所述冗余性阈值的计算公式为：其中，Cr为数据集的记录总数，Rr为冗余记录总数。根据本专利技术的另一个方面，提供了一种对特高压电力设备在线监测数据进行挖掘并评价的系统，所述系统包括：重复数据清洗单元，对在线监测的重复数据进行清洗；异常数据清洗单元，基于关联规则对在线监测的异常数据进行清洗；以及分析评价单元，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值。本专利技术的有益效果在于：1.针对特高压设备在线监测重复数据，确立了重复数据清洗的整体流程，流程中包含了数据预处理、重复数据检测以及冲突处理,可有效分别传统方法难以分辨的相似重复记录，并确保监测无遗漏。2.提出基于关联规则的异常数据清洗方法，该方法通过分析状态量之间存在的关联关系，利用与待清洗状态量关联度高的状态量对其变化趋势进行预测以实现异常数据清洗，可有效分辨电力设备缺陷造成的异常数据与监测装置异常造成的异常数据，传统方法无此功能。3.建立了数据质量评价体系，体系中包含完备性、规范性、有效性和冗余性四类评价指标，首次实现特高压在线监测数据的实时监控和在线考评，强化数据质量事中控制，事后评价，问题整改，提升决策分析依据的准确性和实用性。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为根据本专利技术实施方式的方法100的流程图；图2为根据本专利技术实施方式的基于关联规则的在线监测异常数据清洗的流程图；图3为根据本专利技术实施方式的BP神经网络算法的流程图；图4为根据本专利技术实施方式的分析评估的结构示意图；图5为根据本方面实施方式的分析评价方法500的流程图。图6为根据本专利技术实施方式的系统600的结构示意图。以及具体实施方式现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本专利技术，并且向所属
的技术人员充分传达本专利技术的范围。对于表示在附图中的示例性实施方式中的术语并不是对本专利技术的限定。在附图中，相同的单元/元件使用相同的附图标记。除非另有说明，此处使用的术语(包括科技术语)对所属
的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。本专利技术公开了一种针对特高压电力设备在线监测数据的有效性,完备性与规范性挖掘方法,属于电力设备监测
所述方法针对在线监测重复数据，提出了基于层次分析法的属性权值动态分配方法，实现了重复数据的半自动筛选。针对在线监测异常数据提出了基于关联规则的异常数据清洗方法，该方法通过分析状态量之间存在的关联关系，利用与待清洗状态量关联度高的状态量对其变化趋势进行预测以实现异常数据清洗。最后，建本文档来自技高网...

【技术保护点】
一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：步骤1，对在线监测的重复数据进行清洗；步骤2，基于关联规则对在线监测的异常数据进行清洗；以及步骤3，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，则结束；若不满足，则重新返回步骤2。

【技术特征摘要】
1.一种对特高压电力设备在线监测数据进行挖掘并评价的方法，所述方法包括：步骤1，对在线监测的重复数据进行清洗；步骤2，基于关联规则对在线监测的异常数据进行清洗；以及步骤3，对经过清洗的在线监测的数据质量进行分析评价，并判断是否满足所述有效性、完备性、规范性和冗余性的阈值，若满足，则结束；若不满足，则重新返回步骤2。2.根据权利要求1所述的方法，其中所述对在线监测的重复数据进行清洗包括：预处理、重复记录监测和冲突处理。3.根据权利要求1所述的方法，其中通过设置相似阈值Rsimf的方式来对在线监测的重复数据进行清洗。4.根据权利要求3所述的方法，其中所述相似动态阈值可表示为：其中，若Rsim(R1，R2)>Rsimf(R1，R2)，则认为记录极度相似或完全重复，采用机器自动合并/删除方式处理；若Rsim(R1，R2)<Rsimf(R1，R2)，则认为两记录略微相似，采用人工方式进行手动合并/删除。5.根据权利要求1所述的方法，其中根据预测值和实际值的误差与误差阈值的大小确定异常数据，当误差超过所述误差阈值时，该时间点处的在线监测数据为异常值。6.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：韩帅，王峰，阎春雨，毕建刚，张博文，陈玉峰，
申请(专利权)人：中国电力科学研究院，国家电网公司，国网山东省电力公司，
类型：发明
国别省市：北京;11