一种电网数据管理归结结构及其归结方法技术

本发明专利技术属于电网数据管理领域，尤其涉及一种电网数据管理归结结构及其归结方法，其在现有系统的基础上，提供了一种电网数据管理归结结构，其结构简单，控制和管理方便，结合相应的数据归结方法，能够有效对电力系统中各类管理平台或系统中的数据进行挖掘、管理，能够优化各业务系统与上下级应用及管控接口之间的数据处理效率和效果，能够更合理的应用不同系统之间相互关联的数据信息梦实现数据的挖掘、管理以及存储应用，实现了对现有系统的扩充整合，能够辅助实现电网的高效规划以及数据整理。

A power grid data management resolution structure and its resolution method

This invention belongs to the field of power grid data management, especially a power grid data management resolution structure and its resolution method. On the basis of the existing system, it provides a power grid data management resolution structure, its structure is simple, the control and management are convenient, and the power system can be effectively applied to the power system combined with the corresponding data resolution method. Data mining and management in all kinds of management platform or system can optimize the efficiency and effect of data processing between the business system and the upper and lower application and the control interface. It can more rationally apply the interrelated data information between different systems to realize data mining, management and storage applications. The expansion and integration of existing systems can help to achieve efficient planning and data collation of power grids.

【技术实现步骤摘要】
一种电网数据管理归结结构及其归结方法
本专利技术属于电网数据管理领域，涉及一种电网数据管理归结结构及其归结方法。
技术介绍
在现代电网管理体系中，通过核心业务系统实现基本业务自动化已经得到很好的实施，在此基础上，通过信息管理系统实现流程管理，最终通过决策支持系统帮助企业实现计划制定、执行监控、规划预测等是电网未来的发展目标，实际上现在的电网企业中已经实现了企业资源计划系统(ERP)、生产管理系统(PMS)、预算统筹等各类核心业务系统的应用，并且逐渐与公司整体的运营管理体系相融合。但现有各系统竖的数据主要是包含各种业务数据的电子表单，由于各系统间不同目标和结果的需要，在同一类结果中包含大量重复累赘的数据，导致在数据调取、使用过程中带来大量无效率的资源消耗，跨业务之间形成众多壁垒，资源配置不合理，整体的效能以及效益不高；一方面电网规模庞大，同时涉及的数据参数较多，即使一小片区域也会产生大量的实时数据，另一方面，由于电网持续长时间运行，在进行负荷预测等各类数据预测时，更会产生海量的信息数据，因此从海量的数据信息中挖掘所需要的信息，简化信息获取流程，是提高能效的一种重要重要方法。
技术实现思路
本专利技术创造的目的在于，提供一种电网数据管理归结结构，其结构简单，控制和管理方便，能够有效对电力系统中各类管理平台或系统中的数据进行挖掘、管理。为实现上述目的，本专利技术创造采用如下技术方案。一种电网数据管理归结结构，包括数据源模块，存储与处理模块以及展现模块；数据源模块包括载有ERP系统及存储装置的主机、载有PMS系统的主机、载有外围系统或者存储装置的主机；数据源中的主机是指载有上述系统以及系统数据的PC或者服务器设备，主机内含有完整的软硬件系统以及业务数据的源数据。存储与处理模块包括SAPBW服务器、第一ETL服务器、第二ETL服务器、独立的IBMDB2数据库、独立运行的SYBASEIQ数据库服务器，SAPBW服务器用于收集和整理ERP系统中的业务数据；包括将ERP系统中的SAP标准源数据加载至SAPBW服务器，经过一层DSO转换后通过OpenHub接口输出文本文件；第一ETL服务器抽取上述SAPBW服务器以及PMS系统、外围系统中的业务数据，对业务数据进行转换和集成并转送至IBMDB2数据库；第二ETL服务器从IBMDB2数据库中获取所需数据进行逻辑处理后输出实体关系模型和结果数据，并将数据转送至SYBASEIQ数据库服务器；存储与处理模块用于对各系统内的业务数据源数据进行处理，在保证不同系统中数据相互隔离的同时抽取需要的数据，并根据不同的数据类型进行转换整合以使其成为所需要可表达的数据类型。展现模块包括展示服务器、用户端、仪表盘，用于对结果数据进行综合展示以及输出。一种电网数据管理归结方法，包括如下步骤：①从ERP系统引用SAP标准源数据加载至SAPBW服务器经过DSO转换后通过OpenHub接口输出文本文件；从SAPBW服务器以及PMS系统、外围系统中抽取业务数据并转送至ODS层；②根据管理目标的需求确定ODS逻辑数据主题，用实体关系模型表达；③根据步骤②中的实体关系模型的节点确定业务处理内容，根据各业务处理内容定义最下级元素；以步骤②中的最下级元素为基础确定所需要抽取的业务数据维度以及维度关联键值；④基于步骤③的业务数据维度，将业务数据库中的事实数据按照挖掘需要进行重新组织和逻辑处理，选择需要的业务数据属性，建立目标主题的真实表集合；⑤根据步骤④中的真实表集合，从ODS层中抽取真实表集合中所需要的业务数据；⑥根据数据目标与实际业务数据之间的映射关系完成数据挖掘，包括从各业务数据加载至ODS层以及从ODS层到数据集服务器DM。进一步地，所述步骤⑥中将业务数据加载至ODS层的过程中，执行以下操作内容，包括：a1)将ODS层历时存档数据与即时业务数据做对比获取增量数据；a2)根据过滤条件对传送的数据进行刷选；a3)校验空数据或者非法特征；a4)记录未成功获取的业务数据并保存日志；a5)将不符合的要求格式的数据进行转换；所述步骤⑥中将业务数据加载至ODS层后，依次执行以下操作内容：b1)将业务数据源系统中抽取到ODS层接口表中；b2)维护对照参照表中的数据，或者维护关联的接口表数据；b3)匹配接口表和对照参照表，或者对关联的接口表进行数据转换操作；b4)检验匹配结果，将匹配失败的数据拒绝写入并记录日志；b5)进行数据转换将校验后的数据转送到数据目标表；进一步地，所述步骤⑥中从ODS层到数据集服务器DM的具体内容包括：c1)加载业务数据至ODS层准备区事实表中；c2)加载中间数据中的维度表，包括逻辑映射/运算/转换数据；c3)加载业务数据及中间数据至第二ETL服务器；c4)关联和维护事实表与维度表；c5)汇总逻辑运算以数据计算；c6)生成目标数据表。其有益效果在于：在现有系统的基础上，提供了一种电网数据管理归结结构，其结构简单，控制和管理方便，结合相应的数据归结方法，能够有效对电力系统中各类管理平台或系统中的数据进行挖掘、管理，能够优化各业务系统与上下级应用及管控接口之间的数据处理效率和效果，更合理的应用不同系统之间相互关联的数据信息梦实现数据的挖掘、管理以及存储应用，实现了对现有系统的扩充整合，辅助电网的高效规划以及数据整理的实现。附图说明图1是本专利技术数据管理归结结构的流程示意图；图2是本专利技术数据管理归结结构的物理结构示意图；图3是本专利技术数据管理归结结构实施例的主题模型示意图；图4是本专利技术数据管理归结方法实施例中源数据至ODS的抽取示意图；图5是本专利技术数据管理归结方法实施例中数据整合时的抽取示意图；图6是本专利技术数据管理归结方法实施例中数据转换整理的示意图；图7是本专利技术数据管理归结方法实施例中逻辑转换计算的示意图。具体实施方式以下结合具体实施例对本专利技术创造作详细说明。电网数据管理归结结构是一个数据从业务数据系统到展示平台的流动过程，包括数据模块、存储与处理模块以及展现模块，展现模块负责对存储与处理模块处理完毕的数据进行综合展示，而这通过web服务、小希、数据集成等进行交互；存储与处理模块将保存有源数据的各个业务支撑系统重的数据按照主题进行汇总、计算各类指标，形成流程例，为展现模块提供分析结果，其数据处理的业务流程图如图1所示。如图2中所示，数据模块主要包括电网系统中现有的ERP系统、PMS系统以及其他外围系统以及相应硬件；上述系统作为各类业务数据的的收集存储系统，含有大量基本业务数据。存储与处理模块通过这些实际工作流程相对应的明细数据进行分析和提取。存储与处理模块将各个系统中的业务数据按照主题进行汇总分析，计算各类指标，形成流程实例，为展现模块提供分析结果。存储与处理模块中的每项处理过程是按照独立的主题要求进行设计和组织，通过对业务数据库中的数据进行重新处理机组和，形成统一结构的数据形式，再按照不同主题进行存储。如图3中所示，每个主题对应一个分析领域或一个具体分析目标，主题关联了业务数据库中的若干分析对象/业务数据；由于各个系统中业务数据的类型以及表达方式相对独立，因此需要针对各个主题的数据域提取相应数据并进行处理。以电网维修物料需求分析为例，可以构建如表1所示的主题表，并划分子主题以及设计维度表，其中子主题是由主题本文档来自技高网...

【技术保护点】
一种电网数据管理归结结构，其特征在于，包括数据源模块，存储与处理模块以及展现模块；数据源模块包括载有ERP系统及存储装置的主机、载有PMS系统的主机、载有外围系统或存储装置的主机；存储与处理模块包括SAP BW服务器、第一ETL服务器、第二ETL服务器、独立的IBM DB2数据库、独立的SYBASE IQ数据库服务器，SAP BW服务器用于收集和整理ERP系统中的业务数据；包括将ERP系统中的SAP标准源数据加载至SAP BW服务器，经过一层DSO转换后通过OpenHub接口输出文本文件；第一ETL服务器抽取上述SAP BW服务器以及PMS系统、外围系统中的业务数据，对业务数据进行转换和集成并转送至IBM DB2数据库；第二ETL服务器从IBM DB2数据库中获取所需数据进行逻辑处理后输出实体关系模型和结果数据，并将数据转送至SYBASE IQ数据库服务器；展现模块包括展示服务器、用户端、仪表盘，用于对结果数据进行综合展示以及输出。

【技术特征摘要】
1.一种电网数据管理归结结构，其特征在于，包括数据源模块，存储与处理模块以及展现模块；数据源模块包括载有ERP系统及存储装置的主机、载有PMS系统的主机、载有外围系统或存储装置的主机；存储与处理模块包括SAPBW服务器、第一ETL服务器、第二ETL服务器、独立的IBMDB2数据库、独立的SYBASEIQ数据库服务器，SAPBW服务器用于收集和整理ERP系统中的业务数据；包括将ERP系统中的SAP标准源数据加载至SAPBW服务器，经过一层DSO转换后通过OpenHub接口输出文本文件；第一ETL服务器抽取上述SAPBW服务器以及PMS系统、外围系统中的业务数据，对业务数据进行转换和集成并转送至IBMDB2数据库；第二ETL服务器从IBMDB2数据库中获取所需数据进行逻辑处理后输出实体关系模型和结果数据，并将数据转送至SYBASEIQ数据库服务器；展现模块包括展示服务器、用户端、仪表盘，用于对结果数据进行综合展示以及输出。2.一种电网数据管理归结方法，其特征在于，包括如下步骤：①从ERP系统引用SAP标准源数据加载至SAPBW服务器经过DSO转换后通过OpenHub接口输出文本文件；从SAPBW服务器以及PMS系统、外围系统中抽取业务数据并转送至ODS层；②根据管理目标的需求确定ODS逻辑数据主题，用实体关系模型表达；③根据步骤②中的实体关系模型的节点确定业务处理内容，根据各业务处理内容定义最下级元素；以步骤②中的最下级元素为基础确定所需要抽取的业务数据维度以及维度关联键值；④基于步骤③的业务数据维度，将业务数据库中的事实数据按照挖掘需要进...

【专利技术属性】
技术研发人员：祁晖，翁蓓蓓，杨乐，冯伟，吴倩，
申请(专利权)人：国网江苏省电力公司泰州供电公司，国家电网公司，
类型：发明
国别省市：江苏,32