一种电网设备资产台账异常数据自动修复系统及方法技术方案

一种电网设备资产台账异常数据自动修复系统，包括电网资产数据管理模组、异常数据定位标记模块、异常数据聚类分析模块、异常数据自动修复模块，系统运行时，电网资产数据管理模组从外部系统获取电网设备资产原始数据信息，异常数据定位标记模块再对原始数据中的异常字段进行识别标记，并确定各异常字段所对应的数据异常类型及关联字段，随后异常数据聚类分析模块基于标记的异常字段构建加权聚类算法模型，依据数据异常类型对标记的异常字段进行聚类分析，形成多个异常分类数据集，最后异常数据自动修复模块针对各异常分类数据集，采用对应的修复方案进行异常数据修复。该设计实现了电网设备资产台账异常数据快速、准确、可靠的定位检测与修复。靠的定位检测与修复。靠的定位检测与修复。

【技术实现步骤摘要】
一种电网设备资产台账异常数据自动修复系统及方法


[0001]本专利技术属于数据处理
，具体涉及一种电网设备资产台账异常数据自动修复系统及方法。

技术介绍

[0002]随着电网企业现代设备管理体系的不断完善，设备实物资产投运增加，运维的数据量也逐渐庞大，在台账统计数据中不可避免产生一些异常情况，如字段缺失、编码异常、数值异常、设备状态异常等。此外，由于数据来源于多个管理系统，常常产生不同数据源间数据不一致的问题，如设备数量与资产总值不匹配等。这些数据异常问题直接影响电网资产统计的准确性，从而进一步影响决策的科学性。由此可见，精确定位并修复电网台账异常数据对于电网规划发展与运行决策具有重要现实意义。
[0003]早期对于电网设备台账异常数据多采用现场排查的方法，极其耗费人力与物力资源，效率低。随着检测技术的发展，人们在方法上做出了一些改进，但技术较为落后，存在检测准确率较低的问题。近年来有关学者对于电网设备数据异常检测进行了相关研究。文献“基于Isolation Forest改进的数据异常检测方法”（徐东,王岩俊,孟宇龙,等. [J]. 计算机科学，2018，45(10)：155
‑
159.）提出了一种SA
‑
iForest算法，在数据异常检测中具有较高的执行效率和精确度，但只适用于连续数据的异常检测，对于非连续数据的异常检测，其准确性和稳定性较差。文献“基于频繁模式发现的时间序列异常检测方法”（李海林, 邬先利. [J].计算机应用，2018，38(11)：3204r/>‑
3210.）提出了一种时间序列数据异常检测方法，该方法从序列整体和局部特征的角度分析，虽然能较为准确地找到时间序列中的异常片段，但要求设置的参数太多且调参过程复杂。文献“基于大数据分析的新能源功率数据修复技术”（田坤.[J]. 城镇建设，2018(11)：375
‑
376.）利用大数据思维深入分析新能源发电运行数据挖掘相关规律，提出一种新能源发电数据异常修复技术，但该技术的应用价值需要进一步的挖掘。文献“基于并行分类算法的电网输电量异常数据检测方法研究”（熊学锋，张涵，荣功立，等. [J]. 电子设计工程，2020，28(24)：91
‑
94，99.）基于信息熵提取输电量异常数据特征，采用无线mesh网络结构采集电网输电量数据，通过并行分类算法实现了对电网设备异常数据的检测，但检测准确率仍然存在一定的误差。因此，如何快速且准确地实现电网设备台账异常数据的全面检测与修复是电网资产管理需要迫切解决的一大难题。

技术实现思路

[0004]本专利技术的目的是解决现有技术存在的上述问题，提供一种具有较高准确度和可靠性的一种电网设备资产台账异常数据自动修复系统及方法。
[0005]为实现以上目的，本专利技术提供了以下技术方案：一种电网设备资产台账异常数据自动修复系统，包括电网资产数据管理模组、异常数据修复模组，所述异常数据修复模组包括异常数据定位标记模块、异常数据聚类分析模块、异常数据自动修复模块，所述异常数据定位标记模块的输入端与电网资产数据管理
模组的输出端连接，异常数据定位标记模块的输出端通过异常数据聚类分析模块与异常数据自动修复模块的输入端连接；所述电网资产数据管理模组用于从外部系统获取电网设备资产原始数据信息，所述电网设备资产原始数据信息包括各类型设备资产台账基础数据、设备资产价值规模数据、设备资产财务数据、报废设备资产基础数据、历史报废与退役设备数据；所述异常数据定位标记模块用于对电网设备资产原始数据中的异常字段进行识别标记，并确定各异常字段所对应的数据异常类型以及关联字段；所述异常数据聚类分析模块用于基于标记的异常字段构建加权聚类算法模型，依据数据异常类型对标记的异常字段进行聚类分析，形成多个异常分类数据集；所述异常数据自动修复模块用于针对各异常分类数据集所属异常类型，采用异常类型所对应的修复方案进行异常数据修复。
[0006]所述系统还包括修复结果管理模组，所述修复结果管理模组包括修复后数据输出展示模块、数据存储管理模块，所述修复后数据输出展示模块的输入端与异常数据自动修复模块的输出端连接，修复后数据输出展示模块的输出端与数据存储管理模块的输入端连接。
[0007]一种电网设备资产台账异常数据自动修复方法，依次包括以下步骤：步骤A、所述电网资产数据管理模组从外部系统获取电网设备资产原始数据信息并发送给异常数据定位标记模块；步骤B、所述异常数据定位标记模块对电网设备资产原始数据中的异常字段进行识别标记，并确定各异常字段所对应的数据异常类型以及关联字段；步骤C、所述异常数据聚类分析模块基于标记的异常字段构建加权聚类算法模型，依据数据异常类型对标记的异常字段进行聚类分析，形成多个异常分类数据集；步骤D、所述异常数据自动修复模块针对各异常分类数据集所属异常类型，采用异常类型所对应的修复方案进行异常数据修复。
[0008]步骤C中，所述异常类型包括有限枚举异常类、数值异常类和时间异常类，所述有限枚举异常类包括取值为空、取值为非标准值、字段间取值逻辑异常，所述数值异常类包括取值为空、取值小于等于0、取值过大、字段间取值逻辑异常，所述时间异常类包括取值为空、取值超前或过晚、字段间取值逻辑异常；步骤D中，所述异常类型所对应的修复方案是指：对于有限枚举异常类中取值为空、数值异常类中取值为空且存在默认值的情况，采用设定为默认值或通过关联设备型号标准对照表获取准确值的方案进行修复；对于有限枚举异常类中取值为非标准值的情况，采用标准对照表表关联获取标准值的方案进行修复；对于有限枚举异常类中字段间取值逻辑异常的情况，采用字段间关联同步替换的方案进行修复；对于数值异常类字段中取值为空且不存在默认值、数值异常类中除取值为空之外的情况，通过对同类型资产同字段值进行k
‑
means聚类或数据分箱算法预测的方案进行修复；对于时间异常类中字段间取值逻辑异常的情况，采用调整顺序或通过多源系统业
务数据关联冗余信息字段的方案进行修复；对于时间异常类中除字段间取值逻辑异常之外的情况，通过多源系统业务数据关联冗余信息字段的方案进行修复；对于同时属于有限枚举异常和数值异常的字段，通过前述方法无法修复时，对所涉字段取值采取加权聚类算法进行聚类，以多个字段的取值与任一聚类中心的综合距离最近的聚类中心值进行替换修复。
[0009]步骤B中，所述异常字段包括设备资产财务金额、电压等级、数量规模、技术规模、价值规模、设备型号、制造商、出厂日期、投运日期、转资日期的至少一种，其中，电压等级、设备型号、制造商异常为有限枚举异常类，设备资产财务金额、数量规模、技术规模、价值规模异常为数值异常类，出厂日期、投运日期、转资日期异常为时间异常类；对于电压等级异常字段，通过前述方法无法修复时，采用自然语言处理技术提取出系统中的电压等级以及设备名称，从而进行修复。
[0010]步骤B中，所述对电网设备资产原始数据中的异常字段进行识别标记的方法为阈值检查、分箱操作、标准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网设备资产台账异常数据自动修复系统，其特征在于：所述系统包括电网资产数据管理模组（1）、异常数据修复模组（2），所述异常数据修复模组（2）包括异常数据定位标记模块（21）、异常数据聚类分析模块（22）、异常数据自动修复模块（23），所述异常数据定位标记模块（21）的输入端与电网资产数据管理模组（1）的输出端连接，异常数据定位标记模块（21）的输出端通过异常数据聚类分析模块（22）与异常数据自动修复模块（23）的输入端连接；所述电网资产数据管理模组（1）用于从外部系统获取电网设备资产原始数据信息，所述电网设备资产原始数据信息包括各类型设备资产台账基础数据、设备资产价值规模数据、设备资产财务数据、报废设备资产基础数据、历史报废与退役设备数据；所述异常数据定位标记模块（21）用于对电网设备资产原始数据中的异常字段进行识别标记，并确定各异常字段所对应的数据异常类型以及关联字段；所述异常数据聚类分析模块（22）用于基于标记的异常字段构建加权聚类算法模型，依据数据异常类型对标记的异常字段进行聚类分析，形成多个异常分类数据集；所述异常数据自动修复模块（23）用于针对各异常分类数据集所属异常类型，采用异常类型所对应的修复方案进行异常数据修复。2.根据权利要求1所述的电网设备资产台账异常数据自动修复系统，其特征在于：所述系统还包括修复结果管理模组（3），所述修复结果管理模组（3）包括修复后数据输出展示模块（31）、数据存储管理模块（32），所述修复后数据输出展示模块（31）的输入端与异常数据自动修复模块（23）的输出端连接，修复后数据输出展示模块（31）的输出端与数据存储管理模块（32）的输入端连接。3.一种电网设备资产台账异常数据自动修复方法，其特征在于：所述方法由权利要求1所述系统实施，依次包括以下步骤：步骤A、所述电网资产数据管理模组（1）从外部系统获取电网设备资产原始数据信息并发送给异常数据定位标记模块（21）；步骤B、所述异常数据定位标记模块（21）对电网设备资产原始数据中的异常字段进行识别标记，并确定各异常字段所对应的数据异常类型以及关联字段；步骤C、所述异常数据聚类分析模块（22）基于标记的异常字段构建加权聚类算法模型，依据数据异常类型对标记的异常字段进行聚类分析，形成多个异常分类数据集；步骤D、所述异常数据自动修复模块（23）针对各异常分类数据集所属异常类型，采用异常类型所对应的修复方案进行异常数据修复。4.根据权利要求3所述的一种电网设备资产台账异常数据自动修复方法，其特征在于：步骤C中，所述异常类型包括有限枚举异常类、数值异常类和时间异常类，所述有限枚举异常类包括取值为空、取值为非标准值、字段间取值逻辑异常，所述数值异常类包括取值为空、取值小于等于0、取值过大、字段...

【专利技术属性】
技术研发人员：熊川羽，贺兰菲，李智威，张雪霏，高晓晶，王巍，廖晓红，熊一，马莉，唐学军，孙利平，柯方超，周蠡，周秋鹏，陈然，周英博，张赵阳，
申请(专利权)人：武汉易晨创想科技有限公司，
类型：发明
国别省市：