一种基于电网网络分区数据表准实时同步方法及系统技术方案

本发明专利技术公开了一种基于电网网络分区数据表准实时同步方法及系统，包括，根据源数据库需要同步的表构建物化视图，生成数据同步文件；在所述源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表；创建定时任务，定期执行存所述储过程；利用文件处理模块定期扫描未处理文件记录，把本地的所述SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。本发明专利技术可以整合多源异构的数据，把处于不同区的、不同表结构的数据库数据，以统一的标准格式整合存储，系统适用于电网分区网络，通过按需同步已经整合完成的统一格式数据，方便应用的调用。

【技术实现步骤摘要】
一种基于电网网络分区数据表准实时同步方法及系统
本专利技术涉及电网网络分区数据实时同步的
，尤其涉及一种基于电网网络分区数据表准实时同步方法及系统。
技术介绍
近年来，随着电网系统发展日益庞大，数据的时效性要求对系统的同步能力要求也越来越高，在电网运行环境中，网络物理上划分为生产控制大区和管理信息大区，分区之间进行物理隔断，无法进行网络通信。当电网信息系统需要在分区之间进行数据交互，一般的解决方案是系统对数据进行文本转换和加密，通过正反向隔离装置设备进行数据的加密文本传送，两端部署程序进行发送和接收，但是，当在业务逻辑层面不足以满足全部数据的传送，需要在数据库层面进行数据交互时，传统的传输方式就难以实现；本专利技术在数据库的归档操作日志数据同步方案基础上，研究满足正反向隔离装置传输原理的方案，实现数据库层面从生产区准实施传输数据到信息管理区。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分本文档来自技高网...

【技术保护点】
1.一种基于电网网络分区数据表准实时同步方法，其特征在于：包括，/n根据源数据库需要同步的表构建物化视图，生成数据同步文件；/n在所述源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表；/n创建定时任务，定期执行存所述储过程；/n利用文件处理模块定期扫描未处理文件记录，把本地的所述SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。/n

【技术特征摘要】
1.一种基于电网网络分区数据表准实时同步方法，其特征在于：包括，
根据源数据库需要同步的表构建物化视图，生成数据同步文件；
在所述源数据库中建立存储过程，当执行操作语句并产生日志时，生成对应的SQL数据同步文件并保存到数据文件记录表；
创建定时任务，定期执行存所述储过程；
利用文件处理模块定期扫描未处理文件记录，把本地的所述SQL数据文件解析还原成SQL语句，执行语句，完成数据入库。


2.根据权利要求1所述的基于电网网络分区数据表准实时同步方法，其特征在于：创建所述定时任务包括，
利用任务调度模块定期检索数据文件记录表，取得未发送的数据文件记录，调用文件发送模块；
所述文件发送模块对文件MD5值进行校验，将文件信息封装成报文，发送至文件接收模块；
所述文件接收模块对接收到的所述报文进行缓存，在本地保存副本，并校验文件一致性，若校验一致时，则将文件记录保存到所述源数据库中。


3.根据权利要求1或2所述的基于电网网络分区数据表准实时同步方法，其特征在于：构建所述物化视图包括，根据所述源数据库需要同步的表，对多个不同版本和字符集的源数据库中的数据进行一致性处理，利用所述物化视图将源数据库子系统中的数据规整化为统一版本和字符集格式的数据。


4.根据权利要求3所述的基于电网网络分区数据表准实时同步方法，其特征在于：所述数据同步文件包括，将数据表中的数据导出为EXCEL数据表xls文件，并保存到本地。


5.根据权利要求4所述的基于电网网络分区数据表准实时同步方法，其特征在于：生成所述SQL数据同步文件包括，当执行INSERT、UPDATE、DELETE操作语句并产生日志log时，生成对应的所述SQL数据同步文件data...

【专利技术属性】
技术研发人员：连柯，江映燕，郭立玮，尹震超，潘城，李海涛，吴振田，凌怡珍，陈振辉，
申请(专利权)人：广东电力通信科技有限公司，
类型：发明
国别省市：广东;44