一种数据同步的方法、装置、设备及介质制造方法及图纸

技术编号:39318937 阅读:20 留言:0更新日期:2023-11-12 16:00
本申请公开了一种数据同步的方法、装置、设备及介质,可应用于大数据领域或金融领域。该方法包括:利用变化数据捕获技术对主应用关联的主数据库进行监听,得到主数据库的数据变更日志;利用变化数据捕获技术分析数据变更日志得到主数据库的变更数据;将变更数据写入副本应用关联的副本数据库。如此,借助变化数据捕获技术的功能,可以直接获取主数据库的数据变更日志进行解析,再将其中的变更数据同步到副本数据库中,即可以低代码的方式实现数据同步,而无需为主应用和各个副本应用都开发大量的代码实现数据变更的通知和传输,从可以降低开发难度,提高开发效率。提高开发效率。提高开发效率。

【技术实现步骤摘要】
一种数据同步的方法、装置、设备及介质


[0001]本申请涉及大数据
,尤其涉及一种数据同步的方法、装置、设备及介质。

技术介绍

[0002]近年来,随着金融机构业务的不断拓展,分布式架构成为大势所趋,随之而来的是分布式架构下数据分布的要求。而为了保证一些公共数据的共享,需要在分布式架构中进行数据同步。
[0003]相关技术中,可以通过副本数据传输的方式实现数据同步,也就是先由主应用生成数据,再将该数据同步传输给下游的副本应用。但是,如果主应用中的数据发生变化,那么主应用需要逐个通知副本应用进行数据变更。因此,这种方式需要分别为主应用和各个副本应用都开发大量的代码实现数据变更的通知和传输,导致开发难度较大,开发效率较低。

技术实现思路

[0004]本申请实施例提供了一种数据同步的方法、装置、设备及介质,以降低开发难度,提高开发效率。
[0005]第一方面,本申请实施例提供了一种数据同步的方法,包括:
[0006]利用变化数据捕获技术对主应用关联的主数据库进行监听,得到所述主数据库的数据变更日志;...

【技术保护点】

【技术特征摘要】
1.一种数据同步的方法,其特征在于,包括:利用变化数据捕获技术对主应用关联的主数据库进行监听,得到所述主数据库的数据变更日志;利用所述变化数据捕获技术分析所述数据变更日志得到所述主数据库的变更数据;将所述变更数据写入副本应用关联的副本数据库。2.根据权利要求1所述的方法,其特征在于,所述利用变化数据捕获技术对主应用关联的主数据库进行监听,得到所述主数据库的数据变更日志,包括:利用所述变化数据捕获技术对所述主数据库的数据变更情况进行监听,以捕获所述数据变更日志;所述数据变更情况包括所述主数据库的数据和/或数据表的增加、删除和修改中的至少一种。3.根据权利要求1所述的方法,其特征在于,所述利用所述变化数据捕获技术分析所述数据变更日志得到所述主数据库的变更数据,包括:利用所述变化数据捕获技术对所述数据变更日志进行解析,得到初步解析数据;所述初步解析数据包括数据操作语句和无关语句;所述数据操作语句用于表征所述主数据库的数据变更情况;所述无关语句用于表征与所述数据变更情况无关的语句;从所述初步解析数据中过滤所述无关语句,得到所述数据操作语句,并作为所述变更数据。4.根据权利要求1所述的方法,其特征在于,所述将所述变更数据写入副本应用关联的副本数据库,包括:调用数据库连接方法,将所述变更数据写入所述副本数据库。5.根据权利要求1至4任一项所述方法,其特征在于,所述利用变化数据捕获技术对主应用关联的主数据库进行监听,得到所述主数据库的数据变更日志之前,所述方法包括:配置监听源信息和监听目标信息;所述监听源信息包括所述主数据库的地址、数据表,以及所述主数据库关联的用户标识和密码;所述监听目标地址包括所述副本数据库的地...

【专利技术属性】
技术研发人员:丁锐
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1