【技术实现步骤摘要】
本专利技术涉及计算机应用,尤其涉及一种数据同步方法、装置、电子设备及存储介质。
技术介绍
1、随着计算机技术的飞速发展,计算机的应用领域越来越广,数据出现了爆炸性地增长,数据存储技术和介质逐渐多样化,许多应用场景需要来源于多方且多维的大量数据聚合处理才能得以实现。因此,在数据量方面,源端数据库的数据量以及数据变化量大大增加,数据同步处理需要支持更大的吞吐量。而在时效方面,当源数据库的某个数据表的数据发生变化时,需要保证其对应的目标数据库中的数据在秒级甚至是毫秒级等较短时间内发生一致的变化。因此,需要实现源数据库和目标数据库之间快速的数据同步。
2、为了不对源数据库本身产生侵入性或性能影响,通常会采用基于无侵入性的数据同步方法。该方法是通过对源数据库产生的日志进行解析,还原源数据库中变更的数据,基于还原的数据实现在无侵入和无性能影响的情况下对目标数据库进行数据同步。
3、上述方法虽然对源数据库无侵入和性能影响的压力,在小数据量同步时有着高效、低时延的优势,但是当源数据库中大批量数据发生变更需要进行数据同步时,不能及
...【技术保护点】
1.一种数据同步方法,其特征在于,包括:
2.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的数据同步方法,其特征在于,所述将所述数据同步业务对应的所有数据表,基于变更数据信息进行划分,得到至少一个数据组,包括:
4.根据权利要求3所述的数据同步方法,其特征在于,同一个数据组内的数据表中的变更数据信息线性有序。
5.根据权利要求2所述的数据同步方法,其特征在于,所述将所述目标数据表中的变更数据信息缓存至与目标数据族对应的缓冲区内,包括:
6.根据权利要求5所述的数据同步
...【技术特征摘要】
1.一种数据同步方法,其特征在于,包括:
2.根据权利要求1所述的数据同步方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的数据同步方法,其特征在于,所述将所述数据同步业务对应的所有数据表,基于变更数据信息进行划分,得到至少一个数据组,包括:
4.根据权利要求3所述的数据同步方法,其特征在于,同一个数据组内的数据表中的变更数据信息线性有序。
5.根据权利要求2所述的数据同步方法,其特征在于,所述将所述目标数据表中的变更数据信息缓存至与目标数据族对应的缓冲区内,包括:
6.根据权利要求5所述的数据同步方...
【专利技术属性】
技术研发人员:侯立峰,董海疆,宋志新,
申请(专利权)人:元保科创北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。