双机房的数据同步方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及大数据领域，公开了双机房的数据同步方法、装置、设备及存储介质，用于防止出现数据丢失的问题，还用于提高数据同步的同步效率。双机房的数据同步方法包括：接收全量同步指令，并判断是否开始执行全量同步指令；若开始执行全量同步指令，则从第一机房的分布式应用程序协调服务集群中读取目录信息集，并根据目录信息集和预置的全量数据生成目标全量数据；将目标全量数据同步至第二机房；接收增量同步指令，并基于增量同步指令判断是否开始执行增量同步指令；若开始执行增量同步指令，则读取历史同步偏移量进行数据过滤，生成目标增量数据；将目标增量数据同步至第二机房。此外，本发明专利技术还涉及区块链技术，全量同步指令可存储于区块链中。存储于区块链中。存储于区块链中。

【技术实现步骤摘要】
双机房的数据同步方法、装置、设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种双机房的数据同步方法、装置、设备及存储介质。

技术介绍

[0002]zookeeper是一个开源的分布式协调服务，分布式应用程序可以基于zookeeper实现诸如数据发布/订阅、命名服务、分布式协调/通知、集群管理、配置维护、分布式锁等功能。当前为了避免单一机房出现网络故障、火灾，甚至整个城市发生地震、洪水等大的不可抗的灾难时保证系统可以不间断地持续运行，应用需要至少双机房部署，继而需要zookeeper在双机房间实现数据同步以保证其它应用数据的一致性。
[0003]在现有技术中，主要采用上述提及的一个集群跨机房部署(双机房容灾)的方式进行数据同步，但是如果双机房中主机数较多的主机房出现了问题，那么整个机房的集群会出现问题，导致发生数据丢失的现象。

技术实现思路

[0004]本专利技术提供了一种双机房的数据同步方法、装置、设备及存储介质，用于防止出现数据丢失的问题，还用于提高数据同步的同步效率。
>[0005]本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双机房的数据同步方法，其特征在于，所述双机房的数据同步方法包括：接收全量同步指令，并判断是否开始执行所述全量同步指令；若开始执行所述全量同步指令，则从第一机房的分布式应用程序协调服务集群中读取目录信息集，并根据所述目录信息集和预置的全量数据生成目标全量数据，所述目标全量数据包括多个全量子数据；将所述目标全量数据同步至第二机房；接收增量同步指令，并基于所述增量同步指令判断是否开始执行所述增量同步指令；若开始执行所述增量同步指令，则读取历史同步偏移量并在第一机房中进行数据过滤，生成目标增量数据；将所述目标增量数据同步至第二机房。2.根据权利要求1所述的双机房的数据同步方法，其特征在于，所述接收全量同步指令，并判断是否开始执行所述全量同步指令包括：接收全量同步指令，判断服务器是否为主节点；若判定所述服务器为主节点，则判断所述全量同步指令是否为开始指令；若判定所述全量同步指令为开始指令，则判定开始执行所述全量同步指令。3.根据权利要求1所述的双机房的数据同步方法，其特征在于，所述若开始执行所述全量同步指令，则从第一机房的分布式应用程序协调服务集群中读取目录信息集，并根据所述目录信息集和预置的全量数据生成目标全量数据，所述目标全量数据包括多个全量子数据包括：若开始执行所述全量同步指令，则从第一机房的分布式应用程序协调服务集群中随机选取一个节点作为目标节点；从所述目标节点中读取目录信息集，并基于所述目录信息集和预置的全量数据进行数据过滤，生成过滤后的全量数据，所述预置的全量数据包括多个全量事件值，所述目录信息集包括父目录信息集和子目录信息集；对所述过滤后的全量数据进行处理，生成目标全量数据。4.根据权利要求3所述的双机房的数据同步方法，其特征在于，所述从所述目标节点中读取目录信息集，并基于所述目录信息集和预置的全量数据进行数据过滤，生成过滤后的全量数据，所述预置的全量数据包括多个全量事件值，所述目录信息集包括父目录信息集和子目录信息集包括：从所述目标节点中读取目录信息集，所述目录信息集包括父目录信息集和子目录信息集；从预置的全量数据中读取多个全量目录信息集；当目标全量目录信息集与目录信息集相匹配时，保留所述目标全量事件值，得到过滤后的全量数据，所述过滤后的全量数据包括多个过滤后的全量子数据。5.根据权利要求3所述的双机房的数据同步方法，其特征在于，所述对所述过滤后的全量数据进行处理，生成目标全量数据包括：按照预置的数据格式，对所述过滤后的全量数据进行封装，生成封装后的全量数据；为所述封装后的全量数据添加同步时间，生...

【专利技术属性】
技术研发人员：陈邦文，
申请(专利权)人：康键信息技术深圳有限公司，
类型：发明
国别省市：