一种电网资产台账数据多源流式实时检查方法及系统技术方案

一种电网资产台账数据多源流式实时检查方法，该方法先基于历史存量资产台账数据，通过机器学习完成AI规则模型训练，并根据训练后的AI规则模型构建数据检查规则链表，再实时根据数据检查规则链表生成由多个数据检查流和消息流转对象构成的数据检查系统，然后实时监听电网在运资产台账系统的存储端，并将存储端的变化数据发送至数据检查入口流，通过数据检查系统对发送至数据检查流入口的数据进行流式实时检查，最终的检查结果发送至结束流和告警流。本发明专利技术有效提升了电网资产台账数据的治理效率，保证了数据的时效性、准确性。准确性。准确性。

【技术实现步骤摘要】
一种电网资产台账数据多源流式实时检查方法及系统


[0001]本专利技术属于电力系统数据治理领域，具体涉及一种电网资产台账数据多源流式实时检查方法及系统。

技术介绍

[0002]电网是典型的资产密集型机构，电网资产台账记录了资产价值、位置、利用状态、运行状况、维护期刊、管理责任人等信息，是电网的核心数据。随着电网资产管理体系规范的不断完善，资产台账已应用于采购、安装、运维、报废等资产全寿命周期管理过程，台账准确性直接影响电网的生产管理质效。但由于资产台账分散存放在多个信息系统中，如PMS系统、ERP系统、TMS系统、EMS系统、电能质量检测系统等，各系统存在管理和数据规范上的差异，极易产生异常数据。如资产台账和设备台账字段缺失、编码异常、数值异常、管理单位填错、资产分类和电压等级与实际不符、设备状态异常等。因此，需要频繁开展电网资产台账数据治理。

技术实现思路

[0003]本专利技术的目的是针对现有技术存在的上述问题，提供一种能够提升电网资产台账数据治理效率、保证数据的时效性和准确性的一种电网资产台账数据多源流式实时检查方法及系统。
[0004]为实现以上目的，本专利技术的技术方案如下：
[0005]一种电网资产台账数据多源流式实时检查方法，依次包括以下步骤：
[0006]步骤A、基于历史存量资产台账数据，通过机器学习完成AI规则模型训练；
[0007]步骤B、根据训练后的AI规则模型构建数据检查规则链表；
[0008]步骤C、实时根据数据检查规则链表生成由多个数据检查流和消息流转对象构成的数据检查系统；
[0009]步骤D、实时监听电网在运资产台账系统的存储端，并将存储端的变化数据发送至数据检查入口流；
[0010]步骤E、通过数据检查系统对发送至数据检查流入口的数据进行流式实时检查，并将检查结果发送至结束流和告警流。
[0011]所述步骤A依次包括以下步骤：
[0012]步骤A1、对从不同源端获取的历史存量资产台账数据进行标准化处理，形成数据训练集；
[0013]步骤A2、预定义决策树及树节点问题，以决策树的集合作为AI规则模型；
[0014]步骤A3、基于数据训练集、采用k
‑
近邻算法完成AI规则模型的自学习，得到训练后的AI规则模型。
[0015]所述步骤A3依次包括以下步骤：
[0016]S1、将数据训练集中的单字段所有值作为K
‑
近邻算法的输入，计算出各实例的特
征向量；
[0017]S2、根据设定的距离度量在数据训练集中找到与实例特征向量最近邻的K个点；
[0018]S3、在涵盖上述K个点的邻近域中根据分类决策规则决定实例特征向量的类别。
[0019]所述AI规则模型基于决策树构建；
[0020]所述步骤B包括：先创建带版本属性的数据检查规则链表，并根据训练后的AI规则模型的决策树节点创建检查规则，然后将各检查规则按顺序放入创建的数据检查规则链表中，其中，所述检查规则包括数据检查流、检查函数、消息流转对象。
[0021]所述检查规则通过在决策树上使用二叉树中序遍历法创建得到。
[0022]所述数据检查系统中，相邻的数据检查流之间通过消息流转对象连通。
[0023]所述步骤E包括：先通过前置的消息流转对象消费发送至数据检查入口流的数据信息，并转发给数据检查系统中的第一个数据检查流，再依次使数据检查系统中所有数据检查流完成数据检查，然后通过后置的消息流转对象消费最后一个数据检查流的检查消息，并将结果发送至结束流，如有检查异常，发送至告警流，其中，所述前置的消息流转对象在根据数据检查规则链表中第一个检查规则生成数据检查流时创建，所述后置的消息流转对象在根据数据检查规则链表中最后一个检查规则生成数据检查流时创建。
[0024]数据检查规则链表位于系统全局内存中；
[0025]所述步骤E还包括：实时检查数据检查规则链表，当数据检查规则链表发生变更时，删除前置的消息流转对象，使接收到的所有数据信息缓存在数据检查入口流中，流式实时检查停止，并删除此时的数据检查系统，待根据数据检查规则链表重新生成数据检查系统后，流式实时检查恢复运行。
[0026]所述方法还包括：
[0027]步骤F、将结束流、告警流中的信息持久化到系统存储端。
[0028]一种电网资产台账数据多源流式实时检查系统，包括AI规则模型训练模块、数据检查规则链表构建模块、数据检查系统生成模块、存储端变化数据发送模块、流式实时检查模块；
[0029]所述AI规则模型训练模块用于基于历史存量资产台账数据，通过机器学习完成AI规则模型训练；
[0030]所述数据检查规则链表构建模块用于根据训练后的AI规则模型构建数据检查规则链表；
[0031]所述数据检查系统生成模块用于实时根据数据检查规则链表生成由多个数据检查流和消息流转对象构成的数据检查系统；
[0032]所述存储端变化数据发送模块用于实时监听电网在运资产台账系统的存储端，并将存储端的变化数据发送至数据检查入口流；
[0033]所述流式实时检查模块用于通过数据检查系统对发送至数据检查流入口的数据进行流式实时检查，并将检查结果发送至结束流和告警流。
[0034]与现有技术相比，本专利技术的有益效果为：
[0035]1、本专利技术一种电网资产台账数据多源流式实时检查方法先基于历史存量资产台账数据，通过机器学习完成AI规则模型训练，并根据训练后的AI规则模型构建数据检查规则链表，再实时根据数据检查规则链表生成由多个数据检查流和消息流转对象构成的数据
检查系统，然后实时监听电网在运资产台账系统的存储端，并将存储端的变化数据发送至数据检查入口流，通过数据检查系统对发送至数据检查流入口的数据进行流式实时检查，最终的检查结果发送至结束流和告警流，该方法综合考虑了电网系统多源、资产台账数据繁杂、资产台账数据量庞大、检查规则多样、检查时效性等问题，可有效提升电网资产台账数据的治理效率，降低人工作业工作量，保证数据的时效性、准确性，增强电网关于资产台账数据的治理能力。
[0036]2、本专利技术一种电网资产台账数据多源流式实时检查方法在进行流式实时检查过程中，实时检查数据检查规则链表，当数据检查规则链表发生变更时，删除前置的消息流转对象，使接收到的所有数据信息缓存在数据检查入口流中，流式实时检查停止，并删除此时的数据检查系统，返回步骤C，待生成数据检查系统后，流式实时检查恢复运行，该设计通过在检查规则发生变化时，在数据检查前完成检查规则的热加载，保证了检查规则的实时性，同时也确保了所有数据均进行完整检查。
附图说明
[0037]图1为决策树示意图。
[0038]图2为决策树转化为数据检查规则链表示意图。
[0039]图3为数据检查规则链表结构示意图。
[0040]图4为数据检查系统结构示意图。
[0041]图5本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电网资产台账数据多源流式实时检查方法，其特征在于：所述方法依次包括以下步骤：步骤A、基于历史存量资产台账数据，通过机器学习完成AI规则模型训练；步骤B、根据训练后的AI规则模型构建数据检查规则链表；步骤C、实时根据数据检查规则链表生成由多个数据检查流和消息流转对象构成的数据检查系统；步骤D、实时监听电网在运资产台账系统的存储端，并将存储端的变化数据发送至数据检查入口流；步骤E、通过数据检查系统对发送至数据检查流入口的数据进行流式实时检查，并将检查结果发送至结束流和告警流。2.根据权利要求1所述的一种电网资产台账数据多源流式实时检查方法，其特征在于：所述步骤A依次包括以下步骤：步骤A1、对从不同源端获取的历史存量资产台账数据进行标准化处理，形成数据训练集；步骤A2、预定义决策树及树节点问题，以决策树的集合作为AI规则模型；步骤A3、基于数据训练集、采用k
‑
近邻算法完成AI规则模型的自学习，得到训练后的AI规则模型。3.根据权利要求2所述的一种电网资产台账数据多源流式实时检查方法，其特征在于：所述步骤A3依次包括以下步骤：S1、将数据训练集中的单字段所有值作为K
‑
近邻算法的输入，计算出各实例的特征向量；S2、根据设定的距离度量在数据训练集中找到与实例特征向量最近邻的K个点；S3、在涵盖上述K个点的邻近域中根据分类决策规则决定实例特征向量的类别。4.根据权利要求1所述的一种电网资产台账数据多源流式实时检查方法，其特征在于：所述AI规则模型基于决策树构建；所述步骤B包括：先创建带版本属性的数据检查规则链表，并根据训练后的AI规则模型的决策树节点创建检查规则，然后将各检查规则按顺序放入创建的数据检查规则链表中，其中，所述检查规则包括数据检查流、检查函数、消息流转对象。5.根据权利要求4所述的一种电网资产台账数据多源流式实时检查方法，其特征在于：所述检查规则通过在决策树上使用二叉树中序遍历法创建得到。6.根据权利要求4所述的一种电网资产台账数据多源流式实时检查方法，其特征在于：所述数据检查系统中，相邻的数据检查流之间通过消息流转对象...

【专利技术属性】
技术研发人员：熊川羽，李智威，唐学军，张赵阳，王巍，马莉，许汉平，蔡杰，廖晓红，熊一，高晓晶，孙利平，周蠡，韩文长，陈然，周英博，乔诗慧，余英，谢程华，舒思睿，李吕满，
申请(专利权)人：武汉易晨创想科技有限公司，
类型：发明
国别省市：