数据同步方法技术

本公开涉及一种数据同步方法

【技术实现步骤摘要】
数据同步方法、装置、存储介质及电子设备


[0001]本公开涉及数据处理
，具体地，涉及一种数据同步方法
、
装置
、
存储介质及电子设备
。

技术介绍

[0002]在大数据技术中，需要对不同系统的数据进行同步处理，在传统的从
mongodb
同步到达梦数据库方案中，数据同步通常是每天同步一次全量数据
。
但是采用这种方式，数据同步的时效性难以保证，也不会考虑到在抽取数据对源数据库的负载问题，这样会影响数据库的正常运行
。

技术实现思路

[0003]本公开的目的是提供一种数据同步方法
、
装置
、
存储介质及电子设备
。
[0004]为了实现上述目的，第一方面，本公开提供一种数据同步方法，所述方法包括：
[0005]获取第一数据库的日志数据；所述日志数据包括所述第一数据库中数据的更新时间和更新数据；
[0006]从所述更新时间中，确定最新的目标时间；
[0007]根据所述目标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据同步方法，其特征在于，所述方法包括：获取第一数据库的日志数据；所述日志数据包括所述第一数据库中数据的更新时间和更新数据；从所述更新时间中，确定最新的目标时间；根据所述目标时间和所述日志数据，从所述第一数据库中确定增量数据，所述增量数据包括所述第一数据库中在所述目标时间之后生成的数据；将所述增量数据同步至目标数据库
。2.
根据权利要求1所述的方法，其特征在于，所述根据所述目标时间和所述日志数据，从所述第一数据库中确定增量数据包括：根据所述目标时间，解析所述日志数据，以得到所述第一数据库的所述增量数据
。3.
根据权利要求1所述的方法，其特征在于，所述将所述增量数据同步至目标数据库包括：根据所述增量数据，确定对应的待定数据表；根据所述待定数据表，将所述增量数据同步至所述目标数据库
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述待定数据表，将所述增量数据同步至所述目标数据库包括：根据预设对应关系，确定所述待定数据表与所述目标数据库的映射关系；根据所述映射关系，将所述待定数据表对应的所述增量数据转发给所述目标数据库，以使得目标数据库根据所述增量数据进行数据同步
。5.
根据权利要求1‑4中任一项所述的方法，其特征在于，所述方法还包括：获取检查时间节点，所述检查时间节点为所述目标时间节点相邻的下一个时间；确定所述检查时间节点对应检查的数据同步任务的同步结果；在确定所述同步结果为同步失败的情况下，停止将所述增量数据转发给所述目标数据库
。6.
根据权利要求5所述的方法，其特征在于...

【专利技术属性】
技术研发人员：陈定玮，
申请(专利权)人：飞算数智科技深圳有限公司，
类型：发明
国别省市：