【技术实现步骤摘要】
本专利技术属于计算机，尤其是涉及一种基于分布式数据库同构集群的容灾方法。
技术介绍
1、在5g技术高速发展的当下，诸多应用产生了海量数据，为了确保数据的安全性，数对数据进行备份并储存到多个节点上的成为了抗风险的主要策略。为了提高数据的实时性与一致性，不同节点上的数据备份之间进行同步成为数据存储的必然选择。在数据存储中，总是存在包括自然灾害、机器硬件设备损坏、人为误操作等导致的不可控因素，面对这些影响，如何保证数据的抗风险能力成为重中之重。
2、数据同步技术保证了海量数据的高可用与准确性，同时保证了不同节点之间数据的一致性，避免突发事件导致数据损坏后，最新数据丢失等问题。本文旨于解决实现主备集群不停机时，保证集群的可用与数据同步的一致性，同时，为了减少全量数据同步时间，本文基于gbase8a数据库，提出一种去除重复数据的同步，降低同步数据量，缩短数据同步时间的预处理技术。我们在实现过程中主要面临两个问题。第一，由于全量同步过程中，由于集群中部分节点可能掉线，导致数据加载失败，后续处理遭受影响。第二，如何筛查待同步数据中主备集群没做过变更的数据。
技术实现思路
1、有鉴于此，本专利技术旨在提出一种基于分布式数据库同构集群的容灾方法，以期解决上述部分技术问题中的至少之一。
2、为达到上述目的，本专利技术的技术方案是这样实现的：
3、一种基于分布式数据库同构集群的容灾方法，包括：
4、在主备集群的每个节点上安装scn数据采集组件，执行主备集群
5、根据同步的范围执行相应的操作将同步对象存入文本文件中；
6、获取主备集群的节点信息以及节点信息之间的对应关系；
7、根据主备集群的节点信息对各节点下发查询命令，命令采集服务获取scn数据，并将采集到的scn数据加载到主备集群层系统表中；
8、查询主备集群中每张表的最大scn值并对比，根据同步的范围对数据不一致的表执行不同的同步操作；
9、并发地对同步对象执行同步操作。
10、进一步的，scn数据采集组件执行主备集群的scn数据并发采集时从多个节点同时获取scn数据；
11、同时scn数据采集组件定期监控其他服务的可用性，通过间隔轮询来检查服务是否存在；
12、当监测到有服务不存在时，scn数据采集组件执行拉起操作。
13、进一步的，所述同步范围包括按表同步和按库同步，所述按库同步包含多个数据库作为预同步服务的范围，所述按表同步提供不同库中不等数量的表作为同步对象；
14、分别将主集群和备集群中的一个节点的ip作为预同步服务的连接节点，将同步对象信息存入文本文件后，预同步服务读取文本文件并确定同步范围，并在主备集群中建立临时表存储scn数据采集组件的返回结果。
15、进一步的，获取主备集群的节点信息以及节点信息之间的对应关系的过程包括：
16、根据输入的主备集群的节点ip，将预同步服务连接到主备集群的系统层中，并执行sql语句获取主备集群中所有节点的节点信息，其中，所述节点信息包括ip地址、节点id、表的分片信息；
17、统计得到每个节点的各个节点信息之间的对应关系。
18、进一步的，对各节点下发查询命令的过程中，所述查询命令包括ip地址、端口号、库表名、分片名称、并行度；
19、其中，所述ip地址为主备集群中的节点的ip地址，每条命令仅包含一个ip地址；
20、所述库表名为根据同步对象的类型填写的库名或表名；
21、所述分片名称为当前ip地址所在节点中包含的同步对象的所有分片的名称；
22、并行度为当前ip地址对应的节点的命令采集服务运行时的并行度。
23、进一步的，将成功获取scn数据的节点的ip地址存储成功列表中，当执行命令采集服务的过程中有节点宕机时，进行加载重试处理；
24、加载重试处理的过程包括：
25、节点宕机后再次获取主备集群的节点信息以及节点信息之间的对应关系，将新获取的节点的ip地址与成功列表中的ip地址求交集，将求交集得到的ip地址对应的节点的scn数据再次加载到主备集群层系统表。
26、进一步的，查询主备集群中每张表的最大scn值，对比相同表在不同节点的分片的最大scn值；若最大scn不一致则将当前表存入结果文件中，否则，跳过当前表继续对比下一个表；
27、根据同步的范围对结果文件中的对象，或对结果文件中的对象以及数据库中的元数据进行同步。
28、进一步的，并发地对同步对象执行同步操作的过程中，根据主备集群的拓扑信息将各个节点中表的分片进行汇总，并将表的分片作为最小任务粒度，为每个分片生成不同的同步任务；
29、其中，不同的所述同步任务包括：在主备集群之间进行表的主备分片的数据同步；在主备集群内部进行表的主备分片的数据同步；先在主备集群之间进行表的主备分片的数据同步，后在主备集群内部进行表的主备分片的数据同步。
30、相对于现有技术，本专利技术所述的一种基于分布式数据库同构集群的容灾方法具有以下有益效果：
31、1）全量同步可以被有优化为增量同步，降低重复数据带来的同步时间损耗，提升同步效率；
32、2）新增调度服务，对采集服务和同步服务进行管理，保证采集的全过程高可用，避免异常问题导致整体业务不可用的情形；
33、3）引入更加可靠的对比参数，解决筛选重复数据问题；
34、4）批量上载scn数据到集群层系统表，避免多节点场景中节点排队等待上载导致的超时情况。
本文档来自技高网...【技术保护点】
1.一种基于分布式数据库同构集群的容灾方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
3.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
4.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
5.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
6.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
7.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
8.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
【技术特征摘要】
1.一种基于分布式数据库同构集群的容灾方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
3.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
4.根据权利要求1所述的一种基于分布式数据库同构集群的容灾方法，其特征在于：
...
【专利技术属性】
技术研发人员：王聪意，董潇阳，刘诗红，陈昭华，
申请(专利权)人：天津南大通用数据技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。