一种电网异构数据整合及一致性监控方法技术

一种电网异构数据整合及一致性监控方法，由电网异构数据推送整合模块与数据一致性监控模块两部分分别连接数据库组成；本发明专利技术提出了一种电网异构数据的整合方法，整合后数据的一致性能和源系统保持在99.9％的一致，通过人为处理后能达到数据的完全一致。在使用的一年多时间里，数据被整合到一起，基层员工只需要用一个系统就能完成日常工作，兼职问题带来的多系统切换得到有效的解决；数据整合后，数据的一致性得到保障，提供了决策层和领导层所需的数据；为电网专业管理提供了跨专业的数据支持。本发明专利技术使信息系统的使用简单化，基层专业的生产人员能把精力和时间集中到电网生产任务上，而系统对生产提供了有效的支撑。

Heterogeneous data integration and consistency monitoring method for power grid

A grid of heterogeneous data integration and consistency by grid monitoring method, heterogeneous data integration module and push the consistency of the data monitoring module two part is respectively connected with the database; the invention provides a method for integrating heterogeneous data grid, data consistency and performance of the source system remains in the 99.9% agreement after integration, through artificial processing to achieve consistent data. In the use of more than a year, the data are integrated together, the grass-roots staff only need a system that can complete the daily work, switch system part-time problems can be effectively solved; data integration, data consistency guarantees, provides decision-making and leadership to provide the required data; the interdisciplinary data support for the professional management of power grid. The invention makes the use of the information system simple, and the basic professional production staff can concentrate the energy and time on the production task of the power grid, and the system provides effective support for the production.

【技术实现步骤摘要】
一种电网异构数据整合及一致性监控方法
本专利技术属一种电网异构数据整合及一致性监控方法技术。
技术介绍
电网管理目前处于分专业化管理模块模式，专业化管理导致专业部门建设系统，各专业的系统中积累了大量的专题数据。没有统一的标准和规范，系统实现方式和数据存储方式各异。分散的数据在电网企业管理层形成不了决策数据支撑；中层管理难以全局管控部门员工工作情况；基层员工兼职现象普遍存在，业务管理分离在各个系统之间，需要来回切换完成日常工作，且不能很好分辨具体工作需要在那个具体对应系统中实现。由于业务分离、数据分散，数据结构不同，存在多种结构化的数据和多种非结构化的数据。数据不能通过以往简单整合数据方式实现，且整合后数据和原系统的一致性难以保障，不能满足电网日常管理工作的需要。
技术实现思路
本专利技术的目的正是为了克服上述现有技术存在的不足而提供一种电网异构数据整合及一致性监控方法，通过对电网决策、管理、基层员工调研。分析各层用户的核心需求，经过讨论、研究、思索，提出一种电网异构数据整合及一致性监控的方法。实现后，经过一年多的试用，修改完善，运行半年左右的时间中，电网各个异构数据被整合再一起，数据一致性达到99.9％，为电网员工提供可靠的数据支撑。本专利技术的目的是通过如下技术方案来实现的。电网异构数据整合及一致性监控方法，本专利技术特征在于，由电网异构数据推送整合模块与数据一致性监控两部分分别连接数据库组成；所述电网异构数据推送整合模块由数据接收模块、数据校验模块、数据整合模块及数据存储模块组成；由于各个专业系统的数据结构各异，需要制定统一的数据规范，规定数据提供格式；业务系统数据产生时按照数据规范组装数据，调用接收数据模块；接收数据后，数据校验模块对数据按照规范校验，通过校验的数据进入数据整合模块，校验失败的数据发送到数据一致性监控模块；数据整合模块，对提供的数据按照需要整合加工，失败的信息发送到数据一致性监控模块，成功后保存数据；所述数据一致性监控模块由监控信息接收模块、监控信息存储模块、错误信息智能分析模块、更正模块和发送信息模块组成；监控信息接收模块接收校验失败和整合失败的数据，对失败的信息做监控；监控信息存储模块保存失败信息，为监控分析提供数据源；错误信息智能分析模块分析错误，需要人为处理的错误调用发送信息模块，能处理的错误回调数据源系统，重新推送数据；错误数据经更正模块更正后，和源系统数据保持一致；其中，1)异构数据整合步骤为：步骤1：接收专业系统推送的数据，提供数据推送接口，专业系统调用接口推送数据；步骤2：按照校验规则校验业务系统推送的数据，校验通过，进入数据整合模块，不通过进入数据一致性监控模块；步骤3：按照需要对通过校验的数据进行整合，整合完成进入数据保存模块，整合失败进入数据一致性监控模块；步骤4：数据一致性监控；步骤5：保存数据，得到最终数据，为应用提供数据数据；2)、数据一致性监控步骤为：步骤1：监控数据数据整合过程中存在的错误，结束从整合模块发给过来的数据；步骤2：保存监控到的数据整合信息，作为监控数据源提供监控数据分析；步骤3：错误智能分析，能处理的错误如校验规则严格，自动修改校验规则，通知专业系统重新推送数据，不能处理的发送到信息发送模块；步骤4：错误自动更正，更正后调用原专业系统重新推送数据；步骤5：不能自动更正的问题，发送信息给运维监控人员，处理问题后通知原专业系统，保持数据一致性。本专利技术的有益效果：本专利技术提出了一种电网异构数据的整合方法，整合后数据的一致性能和源系统保持在99.9％的一致，通过人为处理后能达到数据的完全一致。在使用的一年多时间里，数据被整合到一起，基层员工只需要用一个系统就能完成日常工作，兼职问题带来的多系统切换得到有效的解决；数据整合后，数据的一致性得到保障，提供了决策层和领导层所需的数据；为电网专业管理提供了跨专业的数据支持。一种电网异构数据整合及一致性监控方法及实现使用，使信息系统的使用简单化，基层专业的生产人员能把精力和时间集中到电网生产任务上，而系统对生产提供了有效的支撑。附图说明图1为本专利技术异构数据整合流程图；图2为本专利技术数据一致性监控流程图；图3为本专利技术模块结构示意图。具体实施方式见图1，图2，图3，1、一种电网异构数据整合及一致性监控方法，其特征在于，由电网异构数据推送整合模块与数据一致性监控模块两部分分别连接数据库组成；所述电网异构数据推送整合模块由数据接收模块、数据校验模块、数据整合模块及数据存储模块组成；由于各个专业系统的数据结构各异，需要制定统一的数据规范，规定数据提供格式；业务系统数据产生时按照数据规范组装数据，调用接收数据模块；接收数据后，数据校验模块对数据按照规范校验，通过校验的数据进入数据整合模块，校验失败的数据发送到数据一致性监控模块；数据整合模块，对提供的数据按照需要整合加工，失败的信息发送到数据一致性监控模块，成功后保存数据；所述数据一致性监控模块由监控信息接收模块、监控信息存储模块、错误信息智能分析模块、更正模块和发送信息模块组成；监控信息接收模块接收校验失败和整合失败的数据，对失败的信息做监控；监控信息存储模块保存失败信息，为监控分析提供数据源；错误信息智能分析模块分析错误，需要人为处理的错误调用发送信息模块，能处理的错误回调数据源系统，重新推送数据；错误数据经更正模块更正后，和源系统数据保持一致；其中，1)异构数据整合步骤为：步骤1：接收专业系统推送的数据，提供数据推送接口，专业系统调用接口推送数据；步骤2：按照校验规则校验业务系统推送的数据，校验通过，进入数据整合模块，不通过进入数据一致性监控模块；步骤3：按照需要对通过校验的数据进行整合，整合完成进入数据保存模块，整合失败进入数据一致性监控模块；步骤4：数据一致性监控；步骤5：保存数据，得到最终数据，为应用提供数据数据；2)数据一致性监控步骤为：步骤1：监控数据数据整合过程中存在的错误，结束从整合模块发给过来的数据；步骤2：保存监控到的数据整合信息，作为监控数据源提供监控数据分析；步骤3：错误智能分析，能处理的错误如校验规则严格，自动修改校验规则，通知专业系统重新推送数据，不能处理的发送到信息发送模块；步骤4：错误自动更正，更正后调用原专业系统重新推送数据；步骤5：不能自动更正的问题，发送信息给运维监控人员，处理问题后通知原专业系统，保持数据一致性。本文档来自技高网...

【技术保护点】
一种电网异构数据整合及一致性监控方法，其特征在于，由电网异构数据推送整合模块与数据一致性监控模块两部分分别连接数据库组成；所述电网异构数据推送整合模块由数据接收模块、数据校验模块、数据整合模块及数据存储模块组成；由于各个专业系统的数据结构各异，需要制定统一的数据规范，规定数据提供格式；业务系统数据产生时按照数据规范组装数据，调用接收数据模块；接收数据后，数据校验模块对数据按照规范校验，通过校验的数据进入数据整合模块，校验失败的数据发送到数据一致性监控模块；数据整合模块，对提供的数据按照需要整合加工，失败的信息发送到数据一致性监控模块，成功后保存数据；所述数据一致性监控模块由监控信息接收模块、监控信息存储模块、错误信息智能分析模块、更正模块和发送信息模块组成；监控信息接收模块接收校验失败和整合失败的数据，对失败的信息做监控；监控信息存储模块保存失败信息，为监控分析提供数据源；错误信息智能分析模块分析错误，需要人为处理的错误调用发送信息模块，能处理的错误回调数据源系统，重新推送数据；错误数据经更正模块更正后，和源系统数据保持一致；其中，1)异构数据整合步骤为：步骤1：接收专业系统推送的数据，提供数据推送接口，专业系统调用接口推送数据；步骤2：按照校验规则校验业务系统推送的数据，校验通过，进入数据整合模块，不通过进入数据一致性监控模块；步骤3：按照需要对通过校验的数据进行整合，整合完成进入数据保存模块，整合失败进入数据一致性监控模块；步骤4：数据一致性监控；步骤5：保存数据，得到最终数据，为应用提供数据数据；2)数据一致性监控步骤为：步骤1：监控数据数据整合过程中存在的错误，结束从整合模块发给过来的数据；步骤2：保存监控到的数据整合信息，作为监控数据源提供监控数据分析；步骤3：错误智能分析，能处理的错误如校验规则严格，自动修改校验规则，通知专业系统重新推送数据，不能处理的发送到信息发送模块；步骤4：错误自动更正，更正后调用原专业系统重新推送数据；步骤5：不能自动更正的问题，发送信息给运维监控人员，处理问题后通知原专业系统，保持数据一致性。...

【技术特征摘要】
1.一种电网异构数据整合及一致性监控方法，其特征在于，由电网异构数据推送整合模块与数据一致性监控模块两部分分别连接数据库组成；所述电网异构数据推送整合模块由数据接收模块、数据校验模块、数据整合模块及数据存储模块组成；由于各个专业系统的数据结构各异，需要制定统一的数据规范，规定数据提供格式；业务系统数据产生时按照数据规范组装数据，调用接收数据模块；接收数据后，数据校验模块对数据按照规范校验，通过校验的数据进入数据整合模块，校验失败的数据发送到数据一致性监控模块；数据整合模块，对提供的数据按照需要整合加工，失败的信息发送到数据一致性监控模块，成功后保存数据；所述数据一致性监控模块由监控信息接收模块、监控信息存储模块、错误信息智能分析模块、更正模块和发送信息模块组成；监控信息接收模块接收校验失败和整合失败的数据，对失败的信息做监控；监控信息存储模块保存失败信息，为监控分析提供数据源；错误信息智能分析模块分析错误，需要人为处理的错误调用发送信息模块，能处理的错误回调数据源系统，...

【专利技术属性】
技术研发人员：衡星辰，林志波，李绪光，杜旭，林成虎，郭关飞，
申请(专利权)人：中国南方电网有限责任公司，昆明能讯科技有限责任公司，
类型：发明
国别省市：广东,44