异构数据库的数据同步方法、装置、电子设备及介质制造方法及图纸

技术编号:26222722 阅读:27 留言:0更新日期:2020-11-04 10:53
本发明专利技术涉及数据处理,提供一种异构数据库的数据同步方法、装置、电子设备及介质。该方法能够获取数据同步请求,确定源数据库、目标数据库及源数据库与目标数据库的映射文件,获取源数据库中的变化数据,根据映射文件及变化数据生成源数据库的变化数据表,封装变化数据表,并将封装后的变化数据表发送至目标数据库中,当监测到封装后的变化数据表被接收时,解析封装后的变化数据表,得到操作数据,并确定操作数据的操作类型,根据操作类型及操作数据生成操作指令,在目标数据库中执行操作指令,得到目标数据表,能够提高数据同步的效率。此外,本发明专利技术还涉及区块链技术,所述映射文件存储于区块链中。

【技术实现步骤摘要】
异构数据库的数据同步方法、装置、电子设备及介质
本专利技术涉及数据处理
,尤其涉及一种异构数据库的数据同步方法、装置、电子设备及介质。
技术介绍
目前,很多企业都存在烟囱式开发的现象,导致多个业务系统的并存,由于每个业务系统是由不同的开发团队独立建设,为此,不同业务系统上的数据存在相互隔离。针对这种现象,目前采用以下两种方式使不同业务系统上的数据相互连通。其一,采用数据共享交换方法,然而,这种数据共享交换方法不支持异构数据库之间的同步;其二,采用数据同步方法,在现有的数据同步方法中,通常在每个业务系统上配置相应需求对应的接口,然而,每个接口对应一个取数需求,当出现新的取数需求时,则需要开发新的接口,耗时耗力,降低了数据同步的效率。因此,如何构建支持异构数据库的数据同步方案,以提高数据同步的效率,成了有待解决的技术问题。
技术实现思路
鉴于以上内容,有必要提供一种异构数据库的数据同步方法、装置、电子设备及介质,能够提高数据同步的效率。一种异构数据库的数据同步方法,所述异构数据库的数据同步方法包括:本文档来自技高网...

【技术保护点】
1.一种异构数据库的数据同步方法,其特征在于,所述异构数据库的数据同步方法包括:/n获取数据同步请求;/n根据所述数据同步请求确定源数据库及目标数据库;/n确定所述源数据库与所述目标数据库的映射文件;/n获取所述源数据库中的变化数据;/n根据所述映射文件及所述变化数据生成所述源数据库的变化数据表,其中,所述变化数据表的数据格式与所述目标数据库的数据格式相同;/n封装所述变化数据表,并将封装后的变化数据表发送至所述目标数据库中;/n当监测到所述封装后的变化数据表被所述目标数据库接收时,解析所述封装后的变化数据表,得到操作数据,并确定所述操作数据的操作类型;/n根据所述操作类型及所述操作数据生成操...

【技术特征摘要】
1.一种异构数据库的数据同步方法,其特征在于,所述异构数据库的数据同步方法包括:
获取数据同步请求;
根据所述数据同步请求确定源数据库及目标数据库;
确定所述源数据库与所述目标数据库的映射文件;
获取所述源数据库中的变化数据;
根据所述映射文件及所述变化数据生成所述源数据库的变化数据表,其中,所述变化数据表的数据格式与所述目标数据库的数据格式相同;
封装所述变化数据表,并将封装后的变化数据表发送至所述目标数据库中;
当监测到所述封装后的变化数据表被所述目标数据库接收时,解析所述封装后的变化数据表,得到操作数据,并确定所述操作数据的操作类型;
根据所述操作类型及所述操作数据生成操作指令,在所述目标数据库中执行所述操作指令,得到目标数据表。


2.如权利要求1所述的异构数据库的数据同步方法,其特征在于,在获取数据同步请求之前,所述异构数据库的数据同步方法还包括:
从预先配置的连接池中获取所有异构数据库;
监听每个异构数据库的源数据表中是否发生数据变化;
当监听到任意异构数据库的源数据表中发生数据变化时,根据所述任意异构数据库生成所述数据同步请求。


3.如权利要求2所述的异构数据库的数据同步方法,其特征在于,所述根据所述数据同步请求确定源数据库及目标数据库包括:
采用JSON技术解析所述数据同步请求中的方法体,得到所述数据同步请求中携带的数据信息;
获取预设标签,并从所述数据信息中获取与所述预设标签对应的信息,作为变化数据库;
当所述变化数据库包括所述所有异构数据库时,将所述变化数据库中任意一个变化数据库确定为所述目标数据库,及将除所述目标数据库外的异构数据库确定为所述源数据库;或者
当所述变化数据库未包括所述所有异构数据库时,将所述变化数据库确定为所述源数据库,及将除所述源数据库外的异构数据库确定为所述目标数据库。


4.如权利要求2所述的异构数据库的数据同步方法,其特征在于,所述获取所述源数据库中的变化数据包括:
获取所述源数据库中的目标日志;
从预先配置的线程池中获取闲置线程,并调用start命令启动所述闲置线程;
通过启动后的闲置线程逐条读取所述目标日志,并解析读取到的目标日志,得到主键值及所述主键值对应的时间戳,所述主键值包括重复主键值及第一主键值,所述第一主键值不具有重复的主键值;
从所述重复主键值中确定时间戳最大的主键值,作为第二主键值;
融合所述第一主键值及所述第二主键值,得到目标主键值;
提取所述目标主键值对应的数据,作为所述变化数据。


5.如...

【专利技术属性】
技术研发人员:张月周燚健
申请(专利权)人:平安国际智慧城市科技股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1