分布式数据库场景下主备集群数据复制方法及系统技术方案

技术编号:41437692 阅读:25 留言:0更新日期:2024-05-28 20:31
本发明专利技术公开了分布式数据库场景下主备集群数据复制方法及系统,属于分布式数据库技术领域,要解决的技术问题为分布式数据库场景下提高业务的高可用和灾备能力。应用于主库集群、备库集群以及Merge模块之间,Merge模块由备库集群节点充当,包括如下:通过主库集群进行事务操作时,在当前事务操作下每个KV操作的value记录内记录当前事务的事务ID,并在当前事务对应的事务记录内记录当前KV操作的次数,当前事务操作执行成功后形成具有成功标识的commit命令,将当前事务操作下对应的commit命令以及当前事务的KV操作量发送至Merge模块,Merge模块与备库集群配合,将事务操作对应的数据复制到备库集群。

【技术实现步骤摘要】

本专利技术涉及分布式数据库,具体地说是分布式数据库场景下主备集群数据复制方法及系统


技术介绍

1、考虑到在数据复制过程中,任何时刻、任何模块都有可能会存在宕机可能性。并且由于是分布式数据库场景,不同节点时间存在不统一的现象,到达备库的时间点也与用户逻辑时间存在不一致的可能,所以保证主备库事务的一致性存在较大的困难。

2、需要保证事务回放的逻辑先后顺序,与用户业务逻辑保证一致。在主库宕机的时候做到备库数据不丢失,数据执行先后顺序无问题。考虑以上要求,主备库事务回放的依赖判断变得相当的关键。

3、在传统金融领域中,部分场景着重强调业务的高可用和灾备能力,并且对单一集群的高可用模式存在一定质疑,因为节点之间相互依存度高、发生故障时可能会互相传递影响、造成破坏的问题。

4、分布式数据库场景下提高业务的高可用和灾备能力,是需要解决的技术问题。


技术实现思路

1、本专利技术的技术任务是针对以上不足,提供分布式数据库场景下主备集群数据复制方法及系统,来解决分布式数据库场景下提高业务的高本文档来自技高网...

【技术保护点】

1.一种分布式数据库场景下主备集群数据复制方法,其特征在于,应用于主库集群、备库集群以及Merge模块之间,Merge模块由备库集群节点充当,所述方法包括如下步骤:

2.根据权利要求1所述的分布式数据库场景下主备集群数据复制方法,其特征在于,主库集群通过异步发送的方式将当前事务操作下对应的commit命令以及当前事务的KV操作量发送至Merge模块。

3.根据权利要求1所述的分布式数据库场景下主备集群数据复制方法,其特征在于,主库集群支持用户进行读写操作,备库集群支持用户进行读操作;

4.根据权利要求1所述的分布式数据库场景下主备集群数据复制方法,其特...

【技术特征摘要】

1.一种分布式数据库场景下主备集群数据复制方法,其特征在于,应用于主库集群、备库集群以及merge模块之间,merge模块由备库集群节点充当,所述方法包括如下步骤:

2.根据权利要求1所述的分布式数据库场景下主备集群数据复制方法,其特征在于,主库集群通过异步发送的方式将当前事务操作下对应的commit命令以及当前事务的kv操作量发送至merge模块。

3.根据权利要求1所述的分布式数据库场景下主备集群数据复制方法,其特征在于,主库集群支持用户进行读写操作,备库集群支持用户进行读操作;

4.根据权利要求1所述的分布式数据库场景下主备集群数据复制方法,其特征在于,merge模块接收到携带有成功标识的commit命令后,根据commit命令中指定的事务id找到对应事务的所有kv操作数量,并且确认是否与当前commit命令携带的kv操作量是否一致,如果一致,则触发事务回放操作,执行事务回放操作时,当前事务id对应的全部事务回放完成后,执行当前事务的回放操作。

5.一种分布式数据库场景下主备集群数据复制...

【专利技术属性】
技术研发人员:冯友旭史大义
申请(专利权)人:上海沄熹科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1