强隔离环境下数据同步方法和相关设备技术

本申请提供一种强隔离环境下数据同步方法和相关设备，包括：通过Agent探针采集外网数据，并将采集的外网数据发送至外网APM系统中；将位于外网APM系统中的外网数据构造为更新语句，并将更新语句发送至消息队列，更新语句包含语句生成时的时间戳信息；利用消费服务从消息队列中获取更新语句；通过内网强隔离数据库接收并存储更新语句；利用内网的同步服务执行时间戳信息符合预设条件的更新语句，得到执行后的外网数据；将执行后的外网数据同步至内网非关系型数据库中，完成数据同步。本申请在源端和目标端均为非关系型数据库上的基础上，构造更新语句进行数据同步，提高了数据同步速度，并扩大数据同步方法的适用范围。并扩大数据同步方法的适用范围。并扩大数据同步方法的适用范围。

【技术实现步骤摘要】
强隔离环境下数据同步方法和相关设备


[0001]本申请涉及数据处理
，尤其涉及一种强隔离环境下数据同步方 法和相关设备。

技术介绍

[0002]为保证信息安全，很多公司会在公司内网和外网间建立网络强隔离，公 司根据业务需求将不同服务分别布置于内网和外网，在外网获得数据需穿透 强隔离汇总到内网。
[0003]目前，强隔离环境下将外网数据同步到内网的方法有两类：一类为在源 端数据库和目标端数据库间建立表结构映射并定时查询数据方式进行数据同 步，另一类为通过实时解析MySQL的binary log日志的方式来实现对数据同 步，但现有数据同步方法需配置大量的表结构，数据同步效率低，且只可用 于特定数据库，适用范围窄。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种强隔离环境下的数据同步方法和 相关设备，在源端和目标端均为非关系型数据库的基础上，通过构造更新语 句来提高数据同步速度，并扩大了数据同步方法的适用范围。
[0005]基于上述目的，本申请提供了一种强隔离环境下的数据同步方法，包括： 通过Age本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种强隔离环境下数据同步方法，其特征在于，包括：通过Agent探针采集外网数据，并将采集的所述外网数据发送至外网APM系统中；将位于外网APM系统中的所述外网数据构造为更新语句，并将所述更新语句发送至消息队列，所述更新语句包含语句生成时的时间戳信息；利用消费服务从所述消息队列中获取所述更新语句；通过内网强隔离数据库接收并存储所述更新语句；利用内网的同步服务执行时间戳信息符合预设条件的更新语句，得到执行后的外网数据；将所述执行后的外网数据同步至内网非关系型数据库中，完成数据同步。2.根据权利要求1所述的强隔离环境下数据同步方法，其特征在于，将位于外网APM系统中的所述外网数据构造为更新语句，并将所述更新语句发送至消息队列，所述更新语句包含语句生成时的时间戳信息，具体包括：利用OAP后端将位于外网APM系统中的所述外网数据构造为更新语句，并将所述外网数据存入外网APM系统内含的非关系型数据库中；利用OAP后端将所述更新语句发送至消息队列。3.根据权利要求1所述的强隔离环境下数据同步方法，其特征在于，在所述利用消费服务从所述消息队列中获取所述更新语句后，还包括：执行所述更新语句以得到执行后的外网数据，并将该所述执行后的外网数据保存到外网数据库中。4.根据权利要求1所述的强隔离环境下数据同步方法，其特征在于，利用内网的同步服务执行时间戳信息符合预设条件的更新语句，得到执行后的外网数据，具体包括：所述预设条件为预先设定的消费周期，依据所述时间戳信息获取所述消费周期内对应的所述更新语句；对所述消费周期内的所述更新语句进行执行，得到所述执行后的外网数据。5.根据权利...

【专利技术属性】
技术研发人员：孙林檀，王岩，韩维，李瑞强，孟月，张妍，金中超，
申请(专利权)人：国家电网有限公司客户服务中心，
类型：发明
国别省市：