一种输变电设备状态检修数据跨平台数据获取与转换方法技术

本发明专利技术公开了一种输变电设备状态检修数据跨平台数据获取与转换方法。包括如下步骤：S1、从元数据库中读取数据源的元数据，将源表的真实数据载入到临时数据库中；S2、读取各个转换节点的元数据，获取配置信息和转换规则，生成对应的SQL脚本，等待执行；S3、读取元数据信息，通过运算后得到调度顺序，根据调度顺序执行各个转换节点；S4、全部转换完毕后将数据载入到目标数据库中。本发明专利技术屏蔽了不同业务系统在数据模式和接口方式上的差异，保持输变电设备状态检修系统数据的标准化、规划化、方便更新扩展。

【技术实现步骤摘要】

本专利技术涉及一种输变电设备状态检修数据跨平台数据获取与转换方法，属于智能电网状态检修

技术介绍
输变电状态检修基础数据源来自于生产管理系统、状态监测系统、SCADA系统、能量管理系统等多个业务系统。如何方便地复用这些应用系统的信息成为输变电设备状态检修系统设计中的一项关键。在电力系统内部各业务系统之间往往是相互独立的分布各地，而各个子节点之间从底层的硬件平台、操作系统、数据库管理系统、网络协议到应用系统的开发语言和设计模式，甚至在语义方面都是完全不同的。同时，各系统之间的数据类型多样化，有结构化、非结构化等多种数据类型，每类数据的采集频率和生命周期各不相同。因此输变电设备状态检修数据源之间的异构程度大，数据交互难度大。
技术实现思路
为了屏蔽不同业务系统在数据模式和接口方式上的差异，本专利技术的目的在于提供一种输变电设备状态检修数据跨平台数据获取与转换方法，以保持输变电设备状态检修系统数据的标准化、规划化、方便更新扩展。为了实现上述目的，本专利技术采用的技术方案如下：一种输变电设备状态检修数据跨平台数据获取与转换方法，包括如下步骤：S1、从元数据库中读取数据源的元数据，将源表的真实数据载入到临时数据库中(中间数据库)；S2、读取各转换节点的元数据信息，获取配置信息和转换规则，生成对应的SQL脚本，等待执行；S3、读取调度控制流程的元数据信息，通过运算后得到调度顺序，根据调度顺序执行各个转换节点；S4、全部转换完毕后将数据从临时数据库载入到目标数据库中。具体地，所述步骤S1中，数据源为异构数据源或分布数据源，元数据包括源定义、源字段定义。进一步地，所述步骤S1的实现方法为：S11、元数据获取组件访问并获取数据源的元数据；S12、数据库读写组件读取数据源表的真实数据，数据类型转换组件将真实数据的数据类型转换为装置支持的数据类型；S13、数据传输模块将真实数据压缩，并通过数据处理模块处理，然后载入到临时数据库中。在执行步骤S2之前，数据转换模块定义各个转换节点，创建任务的工作流，构建从源到目标的字段映射，并将映射规则存储在元数据管理模块中；转换节点的元数据、配置信息和转换规则即从元数据管理模块中获取。再进一步地，所述步骤S3中，数据转换模块将大量细粒度的转换组件拓扑连接起来，根据业务逻辑的需要来确定各个组件的前驱后序关系，使数据每流经一个组件时发生相应的源到目标的转换。再进一步地，所述步骤S4中，数据加载模块将转换完毕的数据插入或更新到目标数据库中。再进一步地，转换完毕的数据载入到目标数据库后，还清理转换环节的中间临时数据。一种输变电设备状态检修数据跨平台数据获取与转换系统，主要由数据抽取模块、数据传输模块、数据处理模块、数据转换模块、数据加载模块以及元数据管理模块组成。数据抽取模块提供数据类型转换、元数据获取以及数据库读写等组件。数据类型转换组件完成异构数据源的数据类型到装置支持的数据类型的转换；元数据获取组件访问并获取数据源的元数据，记录数据源定义和数据源字段定义；数据库读写组件在读取真实数据过程中优化提高获取数据的效率，解决海量数据访问引起的性能问题。数据传输模块通过数据压缩有效减少网络数据传输量，提高存储效率。数据处理模块利用数理统计、数据挖掘或预定义的数据智能处理规则将原始数据转化成满足数据质量要求的数据，包括空缺值处理、噪声数据处理、数据一致化等。数据转换模块定义各转换节点，创建任务的工作流，构建从源到目标的字段映射，将这些映射规则存储在元数据管理模块中。数据转换模块将通过大量特定功能的细粒度的转换组件拓扑连接起来，根据业务逻辑的需要来确定各个组件的前驱后序关系，使数据每流经一个组件时发生特定的转换，完成复杂的数据转换业务功能。数据加载模块将转换完毕的数据插入或更新到目标数据库。提供全表对比、删除插入、增量更新插入等加载策略。同时通过直接SQL载入、连接池、缓冲池、批量更新和提交等方式，尽可能利用数据库本身的特性来减少对数据库I/O操作，提高执行的效率，提升读写数据库的性能。元数据管理模块将数据源定义信息、源字段定义信息和连接信息、源表的数据字典信息、目标表的数据字典的信息、各类转换组件的定义信息和转换规则、各类转换组件的拓扑连接信息等以元数据的形式记录下来，支持数据抽取、传输、处理、转换及加载的整个过程。与现有技术相比，本专利技术具有以下有益效果：本专利技术跨平台数据获取与转换方法将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到相应存储设备中。这样状态检修系统与基础数据服务平台之间只需要使用标准的接口来获取数据，包括从控制系统获取实时数据、事件和报警信息，从运行数据历史库获取历史数据，从运行预报、规划以及安排系统获取未来的计划数据，以及从相应的系统中获得在线监测、带电检测等状态检修基础数据。附图说明图1为本专利技术数据流图。图2为本专利技术数据获取与转换系统架构图。图3为本专利技术的数据获取与转换流程图。具体实施方式下面结合实施例和附图对本专利技术作进一步说明，本专利技术的实施方式包括但不限于下列实施例。实施例如图1-3所示，一种输变电设备状态检修数据跨平台数据获取与转换系统，主要由数据抽取模块、数据传输模块、数据处理模块、数据转换模块、数据加载模块以及元数据管理模块组成。数据抽取模块提供数据类型转换、元数据获取以及数据库读写等组件。数据类型转换组件完成异构数据源的数据类型到装置支持的数据类型的转换；元数据获取组件访问并获取数据源的元数据，记录数据源定义和数据源字段定义；数据库读写组件在读取真实数据过程中优化提高获取数据的效率，解决海量数据访问引起的性能问题。数据传输模块通过数据压缩有效减少网络数据传输量，提高存储效率。数据处理模块利用数理统计、数据挖掘或预定义的数据智能处理规则将原始数据转化成满足数据质量要求的数据，包括空缺值处理、噪声数据处理、数据一致化等。数据转换模块定义各转换节点，创建任务的工作流，构建从源到目标的字段映射，将这些映射规则存储在元数据管理模块中。数据转换模块将通过大量特定功能的细粒度的转换组件拓扑连接起来，根据业务逻辑的需要来确定各个组件的前驱后序关系，使数据每流经一个组件时发生特定的转换，完成复杂的数据转换业务功能。数本文档来自技高网...

【技术保护点】
一种输变电设备状态检修数据跨平台数据获取与转换方法，其特征在于，包括如下步骤：S1、从元数据库中读取数据源的元数据，将源表的真实数据载入到临时数据库中；S2、读取各转换节点的元数据信息，获取配置信息和转换规则，生成对应的SQL脚本，等待执行；S3、读取调度控制流程的元数据信息，通过运算后得到调度顺序，根据调度顺序执行各个转换节点；S4、全部转换完毕后将数据载入到目标数据库中。

【技术特征摘要】
1.一种输变电设备状态检修数据跨平台数据获取与转换方法，其特征在于，
包括如下步骤：
S1、从元数据库中读取数据源的元数据，将源表的真实数据载入到临时数
据库中；
S2、读取各转换节点的元数据信息，获取配置信息和转换规则，生成对应
的SQL脚本，等待执行；
S3、读取调度控制流程的元数据信息，通过运算后得到调度顺序，根据调
度顺序执行各个转换节点；
S4、全部转换完毕后将数据载入到目标数据库中。
2.根据权利要求1所述的一种输变电设备状态检修数据跨平台数据获取与
转换方法，其特征在于，所述步骤S1中，数据源为异构数据源或分布数据源，
元数据包括源定义、源字段定义。
3.根据权利要求1所述的一种输变电设备状态检修数据跨平台数据获取与
转换方法，其特征在于，所述步骤S1的实现方法为：
S11、元数据获取组件访问并获取数据源的元数据；
S12、数据库读写组件读取数据源表的真实数据，数据类型转换组件将真实
数据的数据类型转换为装置支持的数据类型；
S13、数据传输模块将真实数据压缩，并通过数据处理模块处理，然后...

【专利技术属性】
技术研发人员：赵飞，赵睿，姚学武，白枝平，乔立伟，
申请(专利权)人：国网山西省电力公司大同供电公司，国家电网公司，山西振中电力软件有限公司，
类型：发明
国别省市：山西;14