一种基于隔离装置使用调度算法实现跨网区数据同步方法、系统及存储介质制造方法及图纸

一种基于隔离装置使用调度算法实现跨网区数据同步方法、系统及存储介质，该方法包括：启动归档日志以捕获数据表对象的变更记录，将归档日志解析成标准SQL语句；对于一般的结构化表数据变更时被归档日志解析生成SQL语句写入变更记录表中，对于记录文件存储路径的结构化表使用记录表记录；在外网服务器部署调度服务程序A和服务程序B，分别实现结构化数据变更的SQL语句和结构化数据变更的SQL语句在内网的数据库中执行，在内网服务器部署调度服务程序C，读取记录表中的记录，并实现从文件流生成本地临时非结构化文件，然后将文件数据上传到内网文件服务器中。本发明专利技术可保障跨网区数据的一致性，提高业内外网业务系统的可用性及可靠性。性。性。

【技术实现步骤摘要】
一种基于隔离装置使用调度算法实现跨网区数据同步方法、系统及存储介质


[0001]本专利技术涉及电子信息
，具体是一种基于隔离装置使用调度算法实现跨网区数据同步方法、系统及存储介质。

技术介绍

[0002]国网公司网络环境分互联网大区和管理信息大区，通常一些应用系统需要同时在互联网大区和管理信息大区使用，同时在互联网大区生成的结构化和非结构化数据需要准实时在内网应用系统进行调阅，反之亦然。
[0003]生产环境中使用的隔离装置通常是SQL代理型，外网通过隔离装置访问内网数据库，业务系统使用SG
‑
JDBC通过安全自定义协议访问隔离装置代理服务器，代理服务器通过调用SQL语句达到数据访问目的，但当遇到大的非结构化文件时，如果直接在内网管理大区数据库使用BLOB字段存储流数据的方式，不仅效率低下，占用大量数据库存储空间，同时对数据库IO压力、内存开销、整体SQL性能都会有影响。因此，迫切需要使用现有隔离装置利用结构化数据标记实现跨网区的非结构化数据同步。

技术实现思路

[0004]本专利技术提供一种基于隔离装置使用调度算法实现跨网区数据同步方法、系统及存储介质，以解决上述技术问题，其采用基于隔离装置快速准确的实现结构化和非结构化数据的同步，保障跨网区数据的一致性，提高业内外网业务系统的可用性及可靠性。
[0005]一种基于隔离装置使用调度算法实现跨网区数据同步方法，包括如下步骤：
[0006]步骤一：配置外网数据库，启动归档日志用于捕获数据表对象的变更记录，开发日志解析服务，将归档日志解析成标准SQL语句；
[0007]步骤二：当用户在外网操作系统产生新的结构化和非结构化数据后，非结构化数据存储于文件服务器上，将文件的存储路径存储于结构化表中，对于一般的结构化表数据变更时被归档日志解析生成SQL语句写入表T_DATA_W(外网结构化数据记录表)中，对于记录文件存储路径使用表T_FILE_W(外网非结构化路径记录表)记录，将结构化与非结构化的记录分开存储和处理；
[0008]步骤三：在外网服务器部署调度服务程序A，读取表T_DATA_W(外网结构化数据记录表)中记录的数据，T_DATA_W(外网结构化数据记录表)记录的是结构化数据变更的SQL语句，利用隔离装置自身的特性，将SQL语句通过隔离装置代理直接在内网的数据库中执行，实现结构化数据同步；
[0009]步骤四：在外网服务器部署调度服务程序B，读取T_FILE_W(外网非结构化路径记录表)中记录的文件存储路径，读取文件路径生成文件流写入到SQL语句变量中，将存储文件流信息的SQL语句通过变更记录隔离装置代理直接在内网的数据库中执行，插入到T_FILE_N(内网非结构化文件流信息记录表)中保存，实现文件数据的跨区同步；
[0010]步骤五：在内网服务器部署调度服务程序C，读取T_FILE_N(内网非结构化文件流信息记录表)中的记录，并在调度服务程序中实现从文件流生成本地临时非结构化文件，然后将文件数据上传到内网文件服务器中，最后完成文件的同步；
[0011]步骤六：当结构化数据和非结构化数据同步完成后，删除已经同步完成的T_DATA_W、T_FILE_W、T_FILE_N表中的记录，以及删除临时非结构化文件，完成资源的释放。
[0012]进一步的，所述网络安全隔离装置设于信息内网与信息外网之间，用于实现信息内外网系统与设备的高强度逻辑隔离，使用SQL代理方式实现数据交换。
[0013]进一步的，所述归档日志是数据库非活动的重做日志备份，通过使用归档日志以保留所有重做历史记录。
[0014]一种基于隔离装置使用调度算法实现跨网区数据同步系统，包括：计算机可读存储介质和处理器；
[0015]所述计算机可读存储介质用于存储可执行指令；
[0016]所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行所述的基于隔离装置使用调度算法实现跨网区数据同步方法。
[0017]一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的的基于隔离装置使用调度算法实现跨网区数据同步方法。
[0018]本专利技术通过隔离装置的部署使用，实现国家电网公司信息内外网强隔离，有效抵御来自互联网及外网的恶意代码、黑客等对公司信息内网的破坏和攻击活动，采用基于隔离装置使用调度算法实现跨网区数据同步能够解决大量数据的外到内同步和内到外的同步，包括结构化和非结构化数据，在同步过程中通过调度算法保证数据同步的准实时性，满足内外网系统应用数据无差别、无延迟目标。
附图说明
[0019]图1是本专利技术的工作原理图；
[0020]图2是本专利技术的数据流向图；
[0021]图3是本专利技术实施例一种基于隔离装置使用调度算法实现跨网区数据同步方法的流程图。
具体实施方式
[0022]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0023]如图1及图2所示，信息内网、信息外网：国网公司网络环境分互联网大区和管理信息大区，互联网大区即是信息外网，管理信息大区即是信息内网；网络安全隔离装置：实现信息内外网系统与设备的高强度逻辑隔离，使用SQL代理方式实现数据交换。
[0024]本专利技术从内外网数据库环境配置、文件数据及对应结构化数据读写处理、调度服务处理三个方面来实现此方案，具体说明如下：
[0025]内外网数据库环境配置：首先配置外网数据库的归档日志环境变量，以捕获结构
化数据的变更记录，其次是开发数据库日志解析服务，解析日志中的SQL语句，对SQL语句进行缓存存储；
[0026]文件数据及对应结构化数据读写处理：在应用服务获取到结构化数据后存储到数据库服务器中，获取到文件数据时则存储在文件服务器中；
[0027]调度服务处理：在外到内单向同步时，外网调度服务读取缓存的SQL变更记录，通过隔离装置SQL代理功能将SQL语句在内网数据库中执行；对于非结构化的文件，由调度服务读取文件流写入到内网数据库临时表的BLOB字段中；内网调度服务则从内网数据库临时表的BLOB字段读取文件流信息，并在内网还原到内网文件服务器中，同时将文件相关信息记录到内网数据库，进而提供内网应用服务读取文件，以实现文件数据的同步，反之在内到外单向同步时，原理一致。
[0028]其中归档日志是数据库非活动的重做日志备份，通过使用归档日志，可以保留所有重做历史记录。
[0029]以上是外网到内网的数据同步过程中的关键技术点，反之内到外同步技术点一致。
[0030]结合图3所示，本专利技术第一发面提供一种基于隔离装置使用调度算法实现跨网区数据同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隔离装置使用调度算法实现跨网区数据同步方法，其特征在于：包括如下步骤：步骤一：配置外网数据库，启动归档日志用于捕获数据表对象的变更记录，开发日志解析服务，将归档日志解析成标准SQL语句；步骤二：当用户在外网操作系统产生新的结构化和非结构化数据后，非结构化数据存储于文件服务器上，将文件的存储路径存储于结构化表中，对于一般的结构化表数据变更时被归档日志解析生成SQL语句写入外网结构化数据记录表T_DATA_W中，对于记录文件存储路径使用外网非结构化路径记录表T_FILE_W记录，将结构化与非结构化的记录分开存储和处理；步骤三：在外网服务器部署调度服务程序A，读取外网结构化数据记录表T_DATA_W中记录的数据，外网结构化数据记录表T_DATA_W记录的是结构化数据变更的SQL语句，利用隔离装置自身的特性，将SQL语句通过隔离装置代理直接在内网的数据库中执行，实现结构化数据同步；步骤四：在外网服务器部署调度服务程序B，读取外网非结构化路径记录表T_FILE_W中记录的文件存储路径，读取文件路径生成文件流写入到SQL语句变量中，将存储文件流信息的SQL语句通过变更记录隔离装置代理直接在内网的数据库中执行，插入到内网非结构化文件流信息记录表T_FILE_N中保存，实现文件数据的跨区同步；步骤五：在内网服务器部署调度服务程序C，读取内网非结构化文件流信息记录表T_FIL...

【专利技术属性】
技术研发人员：罗宾，肖新秀，谢敬龙，漆启华，徐桂彬，陈闻，金冰，李娜，胡松，张同佳，王敏，张文凤，吴昊，
申请(专利权)人：国网湖北省电力有限公司，
类型：发明
国别省市：