System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据库同步方法、装置、存储介质与处理器制造方法及图纸_技高网

数据库同步方法、装置、存储介质与处理器制造方法及图纸

技术编号:41337159 阅读:6 留言:0更新日期:2024-05-20 09:56
本申请提供了一种数据库同步方法、装置、存储介质与处理器。该方法包括:本地数据中心基于MyBatis框架生成数据拦截组件;使用数据拦截组件监听本地数据中心的操作行为,解析处理得到SQL语句与操作参数,再进行格式转换得到格式转换数据,将格式转换数据传输至消息传递平台的消息队列,使得异地数据中心通过监听消息传递平台的消息队列,对格式转换数据进行接收并解析处理,得到SQL语句以及操作参数,且将SQL语句以及操作参数存入异地数据中心,以完成数据库之间的数据同步。通过使用数据拦截组件和消息传递平台,实现了低延迟和高可用性的数据同步方案;解决了现有技术处理大数据量的同步速度慢、实时性与稳定性差的问题。

【技术实现步骤摘要】

本申请涉及数据库同步,具体而言,涉及一种数据库同步方法、装置、存储介质与处理器


技术介绍

1、随着信息科技的不断发展,越来越多的系统或项目设计采用微服务架构和数据库的技术架构。随着业务需求和交易量的不断增长,可通过应用代码不断调优、服务节点横向扩充的方式来提高系统高并发性能,或基于数据库自身流复制方式来保障跨中心数据一致性,从而会导致系统的瓶颈逐渐聚焦到数据库上。当前信息化系统建设多采用多中心多活及异地灾备部署模式或者是分布式部署模式,以提高系统日益剧增的性能需求和灵活应对自然灾害、突发状况的抗灾能力。在多中心多活或应用分布式部署模式下,数据根据一定的路由规则落在不同的数据库中,业务操作连续性则要求不同数据库之间的数据要保持一致。

2、现有的数据库同步方案在数据量大的情况下,存在同步速度慢、且实时性与稳定性差的问题。


技术实现思路

1、本申请的主要目的在于提供一种数据库同步方法、装置、存储介质与处理器,以至少解决现有技术处理大数据量数据库同步出现的同步速度慢、且实时性与稳定性差的问题。

2、为了实现上述目的,根据本申请的一个方面,提供了一种数据库同步方法,数据库同步系统包括本地数据中心、异地数据中心与消息传递平台,其中,所述本地数据中心为数据发送方,所述异地数据中心为数据接收方,所述本地数据中心与所述异地数据中心均包含多个数据库,且所述异地数据中心的多个数据库与所述本地数据中心的多个数据库一一对应,所述方法包括:所述本地数据中心基于mybatis框架生成数据拦截组件;所述本地数据中心使用所述数据拦截组件监听所述本地数据中心的操作行为,且对所述操作行为解析处理得到sql语句以及操作参数,所述操作行为包括:数据更新、数据删除、数据插入;所述本地数据中心对所述sql语句以及所述操作参数进行格式转换处理,得到格式转换数据,将所述格式转换数据传输至所述消息传递平台的消息队列,以使得所述异地数据中心通过监听所述消息传递平台的所述消息队列,对所述格式转换数据进行接收并解析处理,得到所述sql语句以及所述操作参数,且将所述sql语句以及所述操作参数存入所述异地数据中心,以完成所述本地数据中心与所述异地数据中心的数据库之间的数据同步。

3、可选地,所述本地数据中心对所述sql语句以及所述操作参数进行格式转换处理,得到格式转换数据,包括:所述本地数据中心创建格式转换组件;所述本地数据中心采用所述格式转换组件对所述sql语句以及所述操作参数进行格式转换处理,以将json格式的所述sql语句以及所述操作参数转换为实体对象格式的所述sql语句以及所述操作参数,得到所述格式转换数据。

4、可选地,所述本地数据中心基于mybatis框架生成数据拦截组件,包括:所述本地数据中心根据拦截需求,对原始mybatis拦截器进行更新得到更新后的mybatis拦截器;所述本地数据中心采用所述更新后的mybatis拦截器生成所述数据拦截组件。

5、可选地,在所述本地数据中心使用所述数据拦截组件监听所述本地数据中心的操作行为之后,所述方法还包括:所述本地数据中心确定与所述操作行为对应的数据库id和数据集群id,以使得所述操作行为携带所述数据库id和所述数据集群id,所述操作行为针对单元数据库的操作行为;所述本地数据中心对所述操作行为解析处理得到sql语句以及操作参数,包括:对携带有所述数据库id和所述数据集群id的所述操作行为解析处理得到携带有所述数据库id和所述数据集群id的sql语句以及操作参数;所述本地数据中心对所述sql语句以及所述操作参数进行格式转换处理,得到格式转换数据,将所述格式转换数据传输至所述消息传递平台的消息队列,包括:所述本地数据中心对携带有所述数据库id和所述数据集群id的sql语句以及操作参数进行格式转换处理,得到携带有所述数据库id和所述数据集群id格式转换数据,将携带有所述数据库id和所述数据集群id格式转换数据传输至所述消息传递平台的消息队列。

6、可选地,所述方法还包括:所述本地数据中心对于针对非单元数据库的操作行为,对所述sql语句以及所述操作参数附加预设标记位。

7、可选地,所述本地数据中心将所述格式转换数据传输至所述消息传递平台的消息队列,包括:在将所述格式转换数据传输至所述消息传递平台的正常消息队列失败的情况下,将所述格式转换数据传输至所述消息传递平台的异常消息队列。

8、可选地,在将所述格式转换数据传输至所述消息传递平台的异常消息队列之后,所述方法还包括:所述本地数据中心对传输至所述消息传递平台的所述异常消息队列的所述格式转换数据,再次进行重试发送操作,直到所述本地数据中心发送成功或者达到最大重试次数。

9、根据本申请的另一方面,提供了一种数据库同步装置,数据库同步系统包括本地数据中心、异地数据中心与消息传递平台,其中,所述本地数据中心为数据发送方,所述异地数据中心为数据接收方,所述本地数据中心与所述异地数据中心均包含多个数据库,且所述异地数据中心的多个数据库与所述本地数据中心的多个数据库一一对应,所述装置包括:生成单元,用于所述本地数据中心基于mybatis框架生成数据拦截组件;监听单元,用于所述本地数据中心使用所述数据拦截组件监听所述本地数据中心的操作行为,且对所述操作行为解析处理得到sql语句以及操作参数,所述操作行为包括:数据更新、数据删除、数据插入;转换处理单元,用于所述本地数据中心对所述sql语句以及所述操作参数进行格式转换处理,得到格式转换数据,将所述格式转换数据传输至所述消息传递平台的消息队列,以使得所述异地数据中心通过监听所述消息传递平台的所述消息队列,对所述格式转换数据进行接收并解析处理,得到所述sql语句以及所述操作参数,且将所述sql语句以及所述操作参数存入所述异地数据中心,以完成所述本地数据中心与所述异地数据中心的数据库之间的数据同步。

10、根据本申请的再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的数据库同步方法。

11、根据本申请的又一方面,提供了一种电子设备,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行任意一种所述的数据库同步方法。

12、应用本申请的技术方案,通过本地数据中心基于mybatis框架生成数据拦截组件;使用数据拦截组件监听本地数据中心的操作行为,解析处理得到sql语句与操作参数,再进行格式转换得到格式转换数据,将格式转换数据传输至消息传递平台的消息队列,使得异地数据中心通过监听消息传递平台的消息队列,对格式转换数据进行接收并解析处理,得到sql语句以及操作参数,且将sql语句以及操作参数存入异地数据中心,以完成数据库之间的数据同步。通过使用数据拦截组件和消息传递平台,实现了低延迟和高可用性的数据同本文档来自技高网...

【技术保护点】

1.一种数据库同步方法,其特征在于,数据库同步系统包括本地数据中心、异地数据中心与消息传递平台,其中,所述本地数据中心为数据发送方,所述异地数据中心为数据接收方,所述本地数据中心与所述异地数据中心均包含多个数据库,且所述异地数据中心的多个数据库与所述本地数据中心的多个数据库一一对应,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述本地数据中心对所述SQL语句以及所述操作参数进行格式转换处理,得到格式转换数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述本地数据中心基于MyBatis框架生成数据拦截组件,包括:

4.根据权利要求1所述的方法,其特征在于,在所述本地数据中心使用所述数据拦截组件监听所述本地数据中心的操作行为之后,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述本地数据中心将所述格式转换数据传输至所述消息传递平台的消息队列,包括:

7.根据权利要求6所述的方法,其特征在于,在将所述格式转换数据传输至所述消息传递平台的异常消息队列之后,所述方法还包括:

8.一种数据库同步装置,其特征在于,数据库同步系统包括本地数据中心、异地数据中心与消息传递平台,其中,所述本地数据中心为数据发送方,所述异地数据中心为数据接收方,所述本地数据中心与所述异地数据中心均包含多个数据库,且所述异地数据中心的多个数据库与所述本地数据中心的多个数据库一一对应,所述装置包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的数据库同步方法。

10.一种电子设备,其特征在于,包括:一个或多个处理器,存储器,以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的数据库同步方法。

...

【技术特征摘要】

1.一种数据库同步方法,其特征在于,数据库同步系统包括本地数据中心、异地数据中心与消息传递平台,其中,所述本地数据中心为数据发送方,所述异地数据中心为数据接收方,所述本地数据中心与所述异地数据中心均包含多个数据库,且所述异地数据中心的多个数据库与所述本地数据中心的多个数据库一一对应,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述本地数据中心对所述sql语句以及所述操作参数进行格式转换处理,得到格式转换数据,包括:

3.根据权利要求1所述的方法,其特征在于,所述本地数据中心基于mybatis框架生成数据拦截组件,包括:

4.根据权利要求1所述的方法,其特征在于,在所述本地数据中心使用所述数据拦截组件监听所述本地数据中心的操作行为之后,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述本地数据中心将所述格式转换数据传输至所述消息传递平台的消息队列,包括...

【专利技术属性】
技术研发人员:刘正江黎枫王永彬牛志嘉
申请(专利权)人:中国邮政储蓄银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1