一种基于电力调度数据的多源异构数据采集处理方法技术

本发明专利技术涉及一种基于电力调度数据的多源异构数据采集处理方法，包括如下步骤：步骤1.采集各业务系统的电力调度数据以及数据间的关系并存储至数据库；步骤2.根据设备名称关联起不同业务系统的设备ID，生成设备ID关联数据表；步骤3.将目标电网模型与各业务系统数据进行差异化分析，获取差异化分析数据表；步骤4.根据差异化分析结果利用ETL工具进行抽取。本发明专利技术抽取的电力调度数据是完全按照电力系统模型进行抽取，除了对冗余数据进行处理外未对原数据进行其他操作，保证数据准确、全面、可靠性高，差异化分析时分析更为全面，当需要切换数据来源无需重新比对，数据抽取过程配置简单易懂，使用任意ETL工具都可实现。

【技术实现步骤摘要】
一种基于电力调度数据的多源异构数据采集处理方法
本专利技术涉及电力调度数据采集领域，具体的说是一种通过建立基于电力调度数据多源异构数据之间的关联关系从而对数据进行整理采集的方法。
技术介绍
由于不同业务系统之间分散地开发、运行和管理，电力调度系统数据存储结构独立，带来数据多源、格式不一致，数据准确性、实时性不强，数据质量不高，缺乏统一的数据规范等问题，导致不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘。现有多源异构数据采集方法主要是识别将多个命名实体可对应到一个真实实体的实体链接技术。实体链接技术的局限性在于实体识别的适用范围、准确率方面存在不足，前期识别错误会向后续步骤延续等。
技术实现思路
针对现有技术的不足，本专利技术提供一种通过建立基于电力调度数据多源异构数据之间的关联关系并解决数据冲突问题从而对数据进行整理采集的方法。出于对电力调度业务的理解，本方法在实现数据之间关联关系方面准确性高、适用性强，解决了对实体链接技术在实体识别的适用范围、数据关联不全面导致数据准确率方面的不足。本专利技术为实现上述目的所采用的技术方案是：一种基于电力调度数据的多源异构数据采集处理方法，包括如下步骤：步骤1:采集各业务系统的电力调度数据以及数据间的关系并存储至数据库；步骤2:根据设备名称关联起不同业务系统的设备ID，生成设备ID关联数据表；步骤3:将目标电网模型与各业务系统数据进行差异化分析，获取差异化分析数据表；步骤4:根据差异化分析结果利用ETL工具进行抽取。所述业务系统包括调度管理系统、调度自动化系统SCADA平台、电量采集系统、云平台系统。所述各业务系统的电力调度数据包括：字典数据、电网基础数据、电网运行及应用数据。所述字典数据为：对数据属性中的输入内容的定义；字典数据内容包括编码和名称，编码和名称是键值对，编码作为对应数据值的唯一标识，用于在数据存储时引用编码。所述电网基础数据为：公共数据、电力一次设备、自动化设备和保护设备；公共数据包括组织结构、电力设备容器、一次能源对象，是支持调度运行管理数据的最基础数据；电力一次设备包括：发电机、电动机、变压器、断路器、隔离开关、自动开关、接触器、刀开关、母线、输电线路、电力电缆、电抗器等；自动化设备用于描述二次设备模型中的自动化模型，描述组成某一数据的表和表的具体结构；具体内容包括自动化设备、厂站公共二次设备、配电自动化终端设备，厂站自动化设备；保护设备用于描述二次设备模型中的保护设备模型，描述组成某一数据的表和表的具体结构；具体内容包括设备类、产品信息类、直流类、设备关联、保护类。所述电网运行及应用数据为：电网运行数据指在电力运行过程当中产生的历史及实时数据，包括发电、输电和变电设备采集的历史数据及电网、断面设备容器汇总计算的总加数据；电网应用数据指电力调度运行管理中生成的数据，包括调度运行报表数据、调度日志数据、计划预测数据、操作票数据。所述数据间的关系为在当前数据中引用了其他数据的ID或编码。所述设备ID关联数据表的步骤包括：为待选设备生成新的设备ID，用设备名称为不同系统的设备进行标记，使得被标记的设备的ID之间存在关联映射，形成设备ID关联表，设备ID关联表包括：当前设备新生成ID，设备名称，关联系统，关联系统设备名称，关联系统设备ID。所述差异化分析包括：将目标模型字段与采集的电力调度数据进行比对，一个目标模型字段能够与多个系统的电力调度数据的字段匹配，将比对结果生成差异化分析表；差异化分析表主要包括：目标表名，目标字段，来源系统，来源表名，来源字段，生效标识；所述目标表名存储目标表表名称；所述目标字段存储目标表的字段名称；字段内容包括ID、设备名称、所属组织机构、电压等级、目标表属性名。所述来源系统存储用来进行比对的系统名称；所述来源表名存储来源系统中与目标表数据一致的表名；所述来源字段存储来源表中与目标字段匹配的字段，如果来源系统没有能与目标字段匹配的字段，来源字段内容为空值；所述来源系统、来源表名、来源字段是根据设备ID关联数据表确定的关联关系；所述生效标识存储用于最终的匹配抽取结果，“是”为最终抽取来源用于后续的抽取步骤。所述根据差异化分析结果利用ETL工具进行抽取，包括：利用ETL组件清除差异化分析数据表中重复数据、根据差异化分析表中“生效标识”筛选数据；根据筛选后的差异化分析表中的来源字段，在字典表中查找来源字段对应的ID值抽取更新至目标表中。本专利技术具有以下有益效果及优点：1.本专利技术抽取的电力调度数据是完全按照电力系统模型进行抽取，除了对冗余数据进行处理外未对原数据进行其他操作，保证数据准确，全面，可靠性高。2.差异化分析时分析更为全面，当需要切换数据来源无需重新比对。3.数据抽取过程配置简单易懂，使用任意ETL工具都可实现。附图说明图1是本专利技术的方法流程图；图2是本专利技术所采集数据结构图。具体实施方式下面结合实施例对本专利技术做进一步的详细说明。为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但本专利技术能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背专利技术内涵的情况下做类似改进，因此本专利技术不受下面公开的具体实施的限制。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。如图1所示为本专利技术的方法流程图。首先收集电力调度个业务系统包含的数据信息，梳理数据之间的关联关系。然后为设备建立新ID并根据收集到的数据根据设备名称关联起不同系统的设备ID，将整理好的数据关系存入数据库。将电网模型与各业务系统数据进行差异化分析，将分析结果存入数据库。最后使用ETL工具根据差异化分析结果对数据进行抽取。步骤1：采集各业务系统的电力调度数据以及数据间的关系并存储至数据库；数据收集为：a.收集各业务电力调度的相关信息，主要包括如下三种模型：字典数据模型包括：公共字典、容器类、发电设备类、输变电设备类型、量测类型、调度事件类；电网基础数据模型包括：公共数据、电力一次设备、自动化设备和保护设备。公共数据包括：组织结构、电力设备容器、一次能源对象，电力一次设备包括：发电设备、交流输电设备、变电设备、直流输电设备，自动化设备包括：自动化设备、厂站二次设备、自动化终端设备、厂站自动化设备，保护设备包括：设备类、产品信息类、直流类、设备关联表、保护类；电网运行及应用数据模型包括：量测数据、调度运行报表数据、调度日志数据、计划预测数据、操作票数据。数据表包括：公共字典中电压等级表，电压等级表包含编码与名称，名称中具体内容包本文档来自技高网...

【技术保护点】
1.一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，包括如下步骤：/n步骤1:采集各业务系统的电力调度数据以及数据间的关系并存储至数据库；/n步骤2:根据设备名称关联起不同业务系统的设备ID，生成设备ID关联数据表；/n步骤3:将目标电网模型与各业务系统数据进行差异化分析，获取差异化分析数据表；/n步骤4:根据差异化分析结果利用ETL工具进行抽取。/n

【技术特征摘要】
1.一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，包括如下步骤：
步骤1:采集各业务系统的电力调度数据以及数据间的关系并存储至数据库；
步骤2:根据设备名称关联起不同业务系统的设备ID，生成设备ID关联数据表；
步骤3:将目标电网模型与各业务系统数据进行差异化分析，获取差异化分析数据表；
步骤4:根据差异化分析结果利用ETL工具进行抽取。


2.根据权利要求1所述的一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，所述业务系统包括调度管理系统、调度自动化系统SCADA平台、电量采集系统、云平台系统。


3.根据权利要求1或2所述的一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，所述各业务系统的电力调度数据包括：字典数据、电网基础数据、电网运行及应用数据。


4.根据权利要求3所述的一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，所述字典数据为：对数据属性中的输入内容的定义；字典数据内容包括编码和名称，编码和名称是键值对，编码作为对应数据值的唯一标识，用于在数据存储时引用编码。


5.根据权利要求3所述的一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，所述电网基础数据为：公共数据、电力一次设备、自动化设备和保护设备；
公共数据包括组织结构、电力设备容器、一次能源对象，是支持调度运行管理数据的最基础数据；
电力一次设备包括：发电机、电动机、变压器、断路器、隔离开关、自动开关、接触器、刀开关、母线、输电线路、电力电缆、电抗器等；
自动化设备用于描述二次设备模型中的自动化模型，描述组成某一数据的表和表的具体结构；具体内容包括自动化设备、厂站公共二次设备、配电自动化终端设备，厂站自动化设备；
保护设备用于描述二次设备模型中的保护设备模型，描述组成某一数据的表和表的具体结构；具体内容包括设备类、产品信息类、直流类、设备关联、保护类。


6.根据权利要求3所述的一种基于电力调度数据的多源异构数据采集处理方法，其特征在于，所述电网运行及应用数据为：
电网运行数据指在电力运行过程当中产生的历史及实时数据，包括发电、输电和...

【专利技术属性】
技术研发人员：邵广惠，彭飞，安天瑜，李丹，李泽宇，李群，王汉军，向勇，孟庆东，马煜，张健男，王天欣，吴奕，田长翼，邓文琛，韩嵩峰，
申请(专利权)人：国家电网公司东北分部，中国科学院沈阳计算技术研究所有限公司，
类型：发明
国别省市：辽宁;21