异构数据库同步方法及装置制造方法及图纸

技术编号:19934371 阅读:23 留言:0更新日期:2018-12-29 04:36
本发明专利技术提供一种异构数据库同步方法及装置,异构数据库同步方法包括:获取源数据库的重做Redo日志所对应的属于数据更新类型的事务报文,以及,该事务报文分别对应在源数据库的主服务器中的第一校验码和源数据库的备用服务器中的第二校验码;判断第一校验码与第二校验码是否相同;若是,则根据事务报文在事务文件添加各个事务;以及,自事务文件中读取至少一个新增的事务,并将事务及对应的回放指令发送至目标数据库,使得目标数据库根据该回放指令对事务进行同步回放处理。本发明专利技术能够在避免与源端应用争抢数据库资源的基础上,有效实现异构数据库数据的同步传输,并能够对数据进行一致性监测,进而有效提高异构数据库之间的数据同步的可靠性。

【技术实现步骤摘要】
异构数据库同步方法及装置
本专利技术涉及计算机数据处理
,具体涉及一种异构数据库同步方法及装置。
技术介绍
随着当今数字化技术的飞速发展,以及其在金融及科研等领域中促使的客户、产品、渠道、技术、竞争等方面的快速变化,数据的核心资产地位也越发的被凸显出来。以金融领域举例,商业银行的业务发展带来了服务产品的多样化,数字化经营所带来的金融数据类型也从传统结构化数据,延伸到实时流数据,以及各类非结构化数据。传统数据库单一模式包打天下的模式无法再适应复杂多变的海量数据处理需求,从而出现了新型可扩展/高性能数据库NewSQL和非关系型的数据库NoSQL技术,形成了以不同的技术解决不同场景应用的局面。基于此,数据合并或迁移、动态数据映射和数据融合管理等问题都迫切地需要一个跨平台的实现异构数据库实时同步的解决方案。现有技术中,异构数据库同步的传统方式为基于数据库自身的同构复制技术实现的,各数据库开发商在各自的数据库同构复制的基础上提出了异构数据库的复制方案,例如关系型数据库管理系统SQLserver提出的出版者及预订者同步方案,关系数据库管理系统Oracle中采用多主复制和物化视图的方案实现数本文档来自技高网...

【技术保护点】
1.一种异构数据库同步方法,其特征在于,包括:获取源数据库的重做Redo日志所对应的属于数据更新类型的事务报文,以及,该事务报文分别对应在所述源数据库的主服务器中的第一校验码和所述源数据库的备用服务器中的第二校验码;判断所述第一校验码与第二校验码是否相同;若是,则根据所述事务报文在事务文件添加各个事务;以及,自所述事务文件中读取至少一个新增的事务,并将所述事务及对应的回放指令发送至目标数据库,使得所述目标数据库根据该回放指令对所述事务进行同步回放处理。

【技术特征摘要】
1.一种异构数据库同步方法,其特征在于,包括:获取源数据库的重做Redo日志所对应的属于数据更新类型的事务报文,以及,该事务报文分别对应在所述源数据库的主服务器中的第一校验码和所述源数据库的备用服务器中的第二校验码;判断所述第一校验码与第二校验码是否相同;若是,则根据所述事务报文在事务文件添加各个事务;以及,自所述事务文件中读取至少一个新增的事务,并将所述事务及对应的回放指令发送至目标数据库,使得所述目标数据库根据该回放指令对所述事务进行同步回放处理。2.根据权利要求1所述的异构数据库同步方法,其特征在于,还包括:若所述第一校验码与第二校验码不同,则生成报警日志并进入休眠状态,以及在休眠时长满足预设休眠时长后,返回重新获取源数据库的重做Redo日志所对应的属于数据更新类型的事务报文。3.根据权利要求1所述的异构数据库同步方法,其特征在于,所述事务为由多条结构化查询语言SOL语句构成一组针对数据库的操作序列。4.根据权利要求1所述的异构数据库同步方法,其特征在于,在所述获取源数据库的Redo日志所对应的属于数据更新类型的事务报文之前,所述异构数据库同步方法还包括:读取并解析所述源数据库的主服务器本地的Redo日志;判断所述Redo日志对应的增量数据的类型;若所述Redo日志对应的增量数据的类型为数据更新类型,则对所述增量数据进行格式转换,生成所述增量数据对应的事务报文,并确定所述事务报文对应在所述源数据库的主服务器中的第一校验码;以及,确定所述事务报文对应在所述源数据库的备用服务器中的第二校验码。5.根据权利要求4所述的异构数据库同步方法,其特征在于,还包括:若所述Redo日志对应的增量数据的类型为数据库对象相关操作类型,则根据所述Redo日志对应的增量数据,对所述源数据库的主服务器本地的数据库对象进行维护。6.根据权利要求1所述的异构数据库同步方法,其特征在于,所述将所述事务及对应的回放指令发送至目标数据库,包括:若自所述事务文件中读取的新增的事务有多个,则根据预设规则将各个事务进行合并处理;以及,将合并后的事务及对应的回放指令发送至目标数据库。7.根据权利要求6所述的异构数据库同步方法,其特征在于,还包括:若所述合并后的事务有多个,则采用并行或串行的方式将各个所述合并后的事务及对应的回放指令发送至目标数据库。8.一种异构数据库同步系统,其特征在于,包括:捕获服务器模块和事务回放模块;其中,所述捕获服务器模块还包括事务及校验码获取单元、校验码判断单元和事务文件新增单元;所述事务及校验码获取单元,用于获取源数据库的重做Redo日志所对应的属于数据更新类型的事务报文,以及,该事务报文分别对应在所述源数据库的主服务器中的第一校验码和所述源数据库的备用服务器中的第二校验码;所述校验码判断单元,用于判断所述第一校验码与第二校验码是否相同;所述事务文件新增单元,用于在经判断获知所述第一校验码...

【专利技术属性】
技术研发人员:何毓锟赵琼郭志军庞天泽马海欣李渊飞葛翰翔
申请(专利权)人:交通银行股份有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1