一种基于NLP、KG技术的电网数据智能化管理方法技术

本发明专利技术涉及电网数据管理技术领域，且公开了一种基于NLP、KG技术的电网数据智能化管理方法，包括以下步骤，主数据目录和数据标准生成，先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据。该基于NLP、KG技术的电网数据智能化管理方法，通过主数据目录生成，数据标准生成，质量规则引擎生成及质量自动化探查，数据关系及影响链分析，数据问题自动修复等,实现数据资产的自动化构建和数据质量的保障，一方面，降低数据治理和资产构建过程中的数据资产目录梳理与数据标准规范梳理的人力投入，更加省时省力，另外一方面，更全面的保障数据质量，为数据价值发挥和应用提供基础。为数据价值发挥和应用提供基础。为数据价值发挥和应用提供基础。

【技术实现步骤摘要】
一种基于NLP、KG技术的电网数据智能化管理方法


[0001]本专利技术涉及电网数据管理
，具体为一种基于NLP、KG技术的电网数据智能化管理方法。

技术介绍

[0002]智能电网已成为电力行业的高频关键词，智能电网要求覆盖到全部用户、采集全部用电信息、全面控制电费，实时监管线损消耗等，除此之外，电力企业还需要结合客户需求，开发出个性化的电力消费产品和服务产品，这些都离不开数据的支撑。
[0003]电力行业的数据来源非常广，不仅涉及到电网本身业务运营和经营管理的数据，还涉及到从电压、电流、信号处理等各种传感器采集过来的I0T数据，另外还有大量与分布式电源、居民用户相关的外部数据，若这些数据得不到有效整合，数据治理得不到提升，电力企业信息共享和智能决策等工作的开展将受到制约，智能化、自动化的数据治理技术成为解决数据问题的关键措施。
[0004]基于数据治理实践经验及Ai(主要是NIp技术和KG技术)技术在数据治理上的应用探索，提出一种基于NLP、KG技术的电网数据智能化管理方法。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于NLP、KG技术的电网数据智能化管理方法，具备可高效构建智能主数据管理运营平台，实现数据资产的高效构建、并可自动化进行数据质量防护和修复等优点，解决了电网数据得不到有效整合，数据治理得不到提升，电力企业信息共享和智能决策等工作的开展将受到制约的问题。
[0007](二)技术方案
[0008]为实现上述高效构建智能主数据管理运营平台，实现数据资产的高效构建、并可自动化进行数据质量防护和修复的目的，本专利技术提供如下技术方案：一种基于NLP、KG技术的电网数据智能化管理方法，包括以下步骤：
[0009]1)主数据目录和数据标准生成，先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据，通过采集适配器读取技术元数据表，进行融合生成主数据目录和元数据表，并针对元数据表字段形成数据标准；
[0010]2)数据质量规则引擎生成，基于《数据质量标准清单》和《数据质量校验清单》通过NLP和KG技术生成生成数据质量规则引擎；
[0011]3)跑数据质量任务，生成数据质量报告；
[0012]4)基于数据血缘关系调取和自定义关系发现引擎发现数据之间的影响关联关系，为问题数据修复提供基础；
[0013]5)查看数据质量报告，针对问题数据
‑
点击
‑
重跑，或者基于码表自动重置。
[0014]进一步地，步骤1所述主数据目录和数据标准生成，先基于《南网电网企业公共信
息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据，通过采集适配器读取技术元数据表，进行融合生成主数据目录和元数据表，并针对元数据表字段形成数据标准；其中
[0015]主数据目录为：业务域/系统名称/业务对象名称；
[0016]数据标准包括：(业务对象信息)名称、编码、类型、约束和描述；
[0017]此外，基于《南网电网企业公共信息模型》可形成标准码表，用于修复数据做准备。
[0018]进一步地，步骤2所述数据质量规则引擎生成，基于《数据质量标准清单》和《数据质量校验清单》通过NLP和KG技术生成生成数据质量规则引擎，其中，质量规则引擎模板包括：规则名称、规则描述、规则定义、规则类型、维度分类、结果说明，其中规则定义基于《数据质量校验规则清单》生成。
[0019](三)有益效果
[0020]与现有技术相比，本专利技术提供了一种基于NLP、KG技术的电网数据智能化管理方法，具备以下有益效果：
[0021]该基于NLP、KG技术的电网数据智能化管理方法，通过主数据目录生成，数据标准生成，质量规则引擎生成及质量自动化探查，数据关系及影响链分析，数据问题自动修复等，实现数据资产的自动化构建和数据质量的保障，一方面，降低数据治理和资产构建过程中的数据资产目录梳理与数据标准规范梳理的人力投入，更加省时省力，另外一方面，更全面的保障数据质量，为数据价值发挥和应用提供基础。
附图说明
[0022]图1为本专利技术总体设计流程图；
[0023]图2为本专利技术主数据目录和数据标准生成引擎的流程图；
[0024]图3为本专利技术数据质量规则引擎自动化生成的流程图；
[0025]图4为本专利技术基于质量报告的数据修复和自动化重置的流程图。
具体实施方式
[0026]下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0027]实施例：一种基于NLP、KG技术的电网数据智能化管理方法，包括以下步骤：
[0028]1)主数据目录和数据标准生成，先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据，通过采集适配器读取技术元数据表，进行融合生成主数据目录和元数据表，并针对元数据表字段形成数据标准；
[0029]2)数据质量规则引擎生成，基于《数据质量标准清单》和《数据质量校验清单》通过NLP和KG技术生成生成数据质量规则引擎；
[0030]3)跑数据质量任务，生成数据质量报告；
[0031]4)基于数据血缘关系调取和自定义关系发现引擎发现数据之间的影响关联关系，为问题数据修复提供基础；
[0032]5)查看数据质量报告，针对问题数据—点击—重跑，或者基于码表自动重置。
[0033]在本实施例中，步骤1所述主数据目录和数据标准生成，先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据，通过采集适配器读取技术元数据表，进行融合生成主数据目录和元数据表，并针对元数据表字段形成数据标准；其中
[0034]主数据目录为：业务域/系统名称/业务对象名称；
[0035]数据标准包括：(业务对象信息)名称、编码、类型、约束和描述；
[0036]此外，基于《南网电网企业公共信息模型》可形成标准码表，用于修复数据做准备。
[0037]在本实施例中，步骤2所述数据质量规则引擎生成，基于《数据质量标准清单》和《数据质量校验清单》通过NLP和KG技术生成生成数据质量规则引擎，其中，质量规则引擎模板包括：规则名称、规则描述、规则定义、规则类型、维度分类、结果说明，其中规则定义基于《数据质量校验规则清单》生成。
[0038]主数据目录和数据标准生成引擎：
[0039]在进行大数据治理前应该先了解电力企业公共信息模型，进行电力行业的大数据治理，需要先熟悉CIM公共信息模型，因为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于NLP、KG技术的电网数据智能化管理方法，其特征在于，包括以下步骤：1)主数据目录和数据标准生成，先基于《南网电网企业公共信息模型》、《业务对象清单》《数据质量标准清单》通过NLP和KG技术生成业务元数据，通过采集适配器读取技术元数据表，进行融合生成主数据目录和元数据表，并针对元数据表字段形成数据标准；2)数据质量规则引擎生成，基于《数据质量标准清单》和《数据质量校验清单》通过NLP和KG技术生成生成数据质量规则引擎；3)跑数据质量任务，生成数据质量报告；4)基于数据血缘关系调取和自定义关系发现引擎发现数据之间的影响关联关系，为问题数据修复提供基础；5)查看数据质量报告，针对问题数据—点击—重跑，或者基于码表自动重置。2.根据权利要求1所述的一种基于NLP、KG技术的电网数据智能化管理方法，其特征在于，步骤1所述主数据目录和数据标准...

【专利技术属性】
技术研发人员：甘莹，邹文景，唐良运，孙刚，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：