数据处理方法、系统、介质及产品技术方案

技术编号:42874032 阅读:25 留言:0更新日期:2024-09-30 15:00
本申请提供一种数据处理方法、系统、介质及产品,涉及金融科技领域。数据库集群包括一个主库和N个备库,N为大于1的正整数;主库和备库均与外置存储设备通信连接,主库用于对外置存储设备的数据进行数据读写,备库用于对外置存储设备的数据进行数据读取。该方法包括:当前备库根据各数据库节点的心跳检测结果,判断当前主库是否可用;若不可用,则根据各备库的当前回放日志点位确定新的主库,并向外置存储设备发送锁权限变更指令,以使外置存储设备根据接收到的锁权限变更指令,完成当前主库与新的主库之间的数据权限切换。本申请的方法,能够提高数据库高可用切换效率、保证主备数据的一致性、减少性能损耗、并且提高资源利用率。

【技术实现步骤摘要】

本申请涉及金融科技领域,尤其涉及一种数据处理方法、系统、介质及产品


技术介绍

1、随着银行金融数字化及国产信创转型的不断推进,国产数据库逐步替代传统数据库不断承接银行核心业务,因此对国产数据库在高可用、高性能、易扩展及降本增效等方面提出更高的要求。

2、现有技术中,出于高可用考虑国产数据库集群通常采用1主库2备库的架构,并且每一主库/备库均分别与一外置存储通信连接。主库处理外部业务请求,并将数据更新通过数据库层面基于日志(log)的方式同步到备库,备库对日志进行解析回放转换成实际数据(data),数据与主库同步以保证主库故障时备库实现高可用接管。高可用容灾切换基于高可用第三方仲裁,当主库发生故障时,需要通过第三方仲裁选主,从2个备库中选择数据最新的作为新主库继续对外服务。主备各自独有一份数据(data+log),放置在企业级外置存储中,对持久化数据提供企业级高可用支撑。但是,国产数据库集群也存在以下几个方面的问题:(1)高可用切换受到第三方仲裁制约,切换效率低,并且在极端特殊场景下无法保证主备数据的一致性;(2)数据库的复制和回放处理会对计算本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,数据库集群包括一个主库和N个备库,N为大于1的正整数;所述主库和备库均与外置存储设备通信连接,所述主库用于对外置存储设备的数据进行数据读写,所述备库用于对外置存储设备的数据进行数据读取;所述方法应用于当前备库,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各数据库节点的心跳检测结果,判断当前主库是否可用,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各备库的当前回放日志点位确定新的主库,具体包括:

4.根据权利要求3所述的方法,其特征在于,所述向所述外置存储设备发送锁权限变更指令,具体包括:...

【技术特征摘要】

1.一种数据处理方法,其特征在于,数据库集群包括一个主库和n个备库,n为大于1的正整数;所述主库和备库均与外置存储设备通信连接,所述主库用于对外置存储设备的数据进行数据读写,所述备库用于对外置存储设备的数据进行数据读取;所述方法应用于当前备库,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据各数据库节点的心跳检测结果,判断当前主库是否可用,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各备库的当前回放日志点位确定新的主库,具体包括:

4.根据权利要求3所述的方法,其特征在于,所述向所述外置存储设备发送锁权限变更指令,具体包括:

5.一种数据处理方法,其特征在于,应用于外置存储设备,所述外置存储设备与权利要求1所述的主库和备库通信连接;所述方法包括:

6.一种数据处理方法,其特征在于,应用于新的主库,所述新的主库为权利要求1所...

【专利技术属性】
技术研发人员:王君轶杨利进杨萍萍陈镛先
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1