一种数据同步方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40576508 阅读:18 留言:0更新日期:2024-03-06 17:17
本发明专利技术提供一种数据同步方法、装置、电子设备及存储介质,涉及计算机应用技术领域。该方法包括:获取源数据库的各数据表;获取源数据库的至少一个数据变更日志,解析各数据变更日志,得到数据表中的变更数据信息;基于数据表与数据族的映射关系,确定目标数据族对应的目标数据表;基于数据族与缓冲区的映射关系,将目标数据表中的变更数据信息缓存至与目标数据族对应的缓冲区内;基于缓冲区与消费者的映射关系,确定目标消费者对应的目标缓冲区,并通过目标消费者消费目标缓冲区内的变更数据信息,得到写入脚本,并将写入脚本信息推送至目标数据库。基于此,各消费者能并行消费处理各自对应的缓冲区内的变更数据信息,提高了数据同步的效率。

【技术实现步骤摘要】

本专利技术涉及计算机应用,尤其涉及一种数据同步方法、装置、电子设备及存储介质


技术介绍

1、随着计算机技术的飞速发展,计算机的应用领域越来越广,数据出现了爆炸性地增长,数据存储技术和介质逐渐多样化,许多应用场景需要来源于多方且多维的大量数据聚合处理才能得以实现。因此,在数据量方面,源端数据库的数据量以及数据变化量大大增加,数据同步处理需要支持更大的吞吐量。而在时效方面,当源数据库的某个数据表的数据发生变化时,需要保证其对应的目标数据库中的数据在秒级甚至是毫秒级等较短时间内发生一致的变化。因此,需要实现源数据库和目标数据库之间快速的数据同步。

2、为了不对源数据库本身产生侵入性或性能影响,通常会采用基于无侵入性的数据同步方法。该方法是通过对源数据库产生的日志进行解析,还原源数据库中变更的数据,基于还原的数据实现在无侵入和无性能影响的情况下对目标数据库进行数据同步。

3、上述方法虽然对源数据库无侵入和性能影响的压力,在小数据量同步时有着高效、低时延的优势,但是当源数据库中大批量数据发生变更需要进行数据同步时,不能及时完成变更数据的同步本文档来自技高网...

【技术保护点】

1.一种数据同步方法,其特征在于,包括:

2.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的数据同步方法,其特征在于,所述将所述数据同步业务对应的所有数据表,基于变更数据信息进行划分,得到至少一个数据组,包括:

4.根据权利要求3所述的数据同步方法,其特征在于,同一个数据组内的数据表中的变更数据信息线性有序。

5.根据权利要求2所述的数据同步方法,其特征在于,所述将所述目标数据表中的变更数据信息缓存至与目标数据族对应的缓冲区内,包括:

6.根据权利要求5所述的数据同步方法,其特征在于,所...

【技术特征摘要】

1.一种数据同步方法,其特征在于,包括:

2.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的数据同步方法,其特征在于,所述将所述数据同步业务对应的所有数据表,基于变更数据信息进行划分,得到至少一个数据组,包括:

4.根据权利要求3所述的数据同步方法,其特征在于,同一个数据组内的数据表中的变更数据信息线性有序。

5.根据权利要求2所述的数据同步方法,其特征在于,所述将所述目标数据表中的变更数据信息缓存至与目标数据族对应的缓冲区内,包括:

6.根据权利要求5所述的数据同步方...

【专利技术属性】
技术研发人员:侯立峰董海疆宋志新
申请(专利权)人:元保科创北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1