数据同步的方法、装置、存储介质和电子设备制造方法及图纸

本公开涉及一种数据同步的方法、装置、存储介质和电子设备，涉及数据处理技术领域，该方法包括：从第一数据库中获取指定时刻之后的数据变更日志；根据所述数据变更日志，从所述第一数据库中获取待变更数据；并根据所述数据变更日志，确定所述待变更数据的变更状态；根据所述变更状态，将所述待变更数据同步至第二数据库中。这样，能够根据第一数据库中在指定时刻之后的数据变更日志，获取到待变更数据，并确定待变更数据的变更状态。然后，根据变更状态将待变更数据实时同步至第二数据库中，以保证数据同步的时效性。保证数据同步的时效性。保证数据同步的时效性。

【技术实现步骤摘要】
数据同步的方法、装置、存储介质和电子设备


[0001]本公开涉及数据处理
，具体地，涉及一种数据同步的方法、装置、存储介质和电子设备。

技术介绍

[0002]在实际应用场景中，源数据库(如sqlserver数据库)一般是业务生产使用的数据库，而大量的数据统计分析任务会对源数据库的CPU、内存、IO等资源出现过载问题。因此，一般不能直接在源数据库上进行大量的数据统计分析工作，需要将数据同步至其他数据库中。
[0003]目前，采用的主要是T+1的数据同步方式，也即源数据库在第T天产生的原始数据要在第T+1天同步至其他数据库，这种方法存在明显的滞后性，无法保证数据同步的时效性。且每天的数据同步需要业务员手写脚本来实现，代码的复用性较差。

技术实现思路

[0004]为了解决上述问题，本公开提供一种数据同步的方法、装置、存储介质和电子设备。
[0005]根据本公开实施例的第一方面，提供一种数据同步的方法，所述方法包括：从第一数据库中获取指定时刻之后的数据变更日志；根据所述数据变更日志，从所述第一数据库中获取待变更数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步的方法，其特征在于，所述方法包括：从第一数据库中获取指定时刻之后的数据变更日志；根据所述数据变更日志，从所述第一数据库中获取待变更数据；并根据所述数据变更日志，确定所述待变更数据的变更状态；根据所述变更状态，将所述待变更数据同步至第二数据库中。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：从第一数据库中获取所述指定时刻之前的第一历史数据；将所述第一历史数据同步至所述第二数据库中。3.根据权利要求1所述的方法，其特征在于，所述根据所述变更状态，将所述待变更数据同步至第二数据库中包括：在所述变更状态包括新增状态的情况下，将所述待变更数据写入所述第二数据库中；或者，在所述变更状态包括删除状态的情况下，将所述第二数据库中的所述待变更数据进行删除；或者，在所述变更状态包括替换状态的情况下，根据所述待变更数据，将所述第二数据库中与所述待变更数据对应的数据进行替换。4.根据权利要求1所述的方法，其特征在于，所述第一数据库包括一个或多个源数据表；所述方法还包括：根据所述源数据表，在所述第二数据库中建立目标表；其中，在所述源数据表包括多个的情况下，所述目标表与所述源数据表一一对应；所述根据所述变更状态，将所述待变更数据同步至第二数据库中包括：根据所述变更状态，按照所述源数据表将所述待变更数据同步至所述第二数据库的所述目标表中。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在接收到用户触发的对源数据表的同步指令的情况下，在所述第二数据库...

【专利技术属性】
技术研发人员：陈定玮，
申请(专利权)人：飞算数智科技深圳有限公司，
类型：发明
国别省市：