一种数据同步方法、装置、终端及存储介质制造方法及图纸

本发明专利技术公开了一种数据同步方法、装置、终端及存储介质，方法包括：获取第一同步任务，对所述第一同步任务进行分片，得到至少一个分片任务，其中，所述第一同步任务中包括多条数据ID，各个所述分片任务分别包括若干个连续的数据ID；根据各个所述分片任务生成迁移计划，当所述至少一个分片任务中的目标分片任务被执行时，根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据；将读取到的各个所述目标数据同步至第二数据源中。本发明专利技术的同步过程可使用通用的语言实现，不依赖于第一数据源或第二数据源的结构，可以实现异构数据源之间的数据同步。可以实现异构数据源之间的数据同步。可以实现异构数据源之间的数据同步。

【技术实现步骤摘要】
一种数据同步方法、装置、终端及存储介质


[0001]本专利技术涉及数据同步
，特别涉及一种数据同步方法、装置、终端及存储介质。

技术介绍

[0002]当前最常见的数据同步方案为Canal项目，具体通过订阅和消费Mysql数据库binlog来完成数据同步，因此，其面向的主体仅限于Mysql或者Mysql衍生产品，即同步双方均需为Mysql或其衍生产品方可使用，属于同构数据源的同步。而在实际中，由于信息系统开发时间和选用技术的不同，存在很多异构数据源之间进行数据同步的需要，目前的数据同步方案不能实现。
[0003]因此，现有技术还有待改进和提高。

技术实现思路

[0004]针对现有技术的上述缺陷，本专利技术提供一种数据同步方法、装置、终端及存储介质，旨在解决现有技术中的数据同步方案不能实现异构数据源之间的数据同步的问题。
[0005]为了解决上述技术问题，本专利技术所采用的技术方案如下：
[0006]本专利技术的第一方面，提供一种数据同步方法，所述方法包括：
[0007]获取第一同步任务，对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：获取第一同步任务，对所述第一同步任务进行分片，得到至少一个分片任务，其中，所述第一同步任务中包括多条数据ID，各个所述分片任务分别包括若干个连续的数据ID；根据各个所述分片任务生成迁移计划，当所述至少一个分片任务中的目标分片任务被执行时，根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据；将读取到的各个所述目标数据同步至第二数据源中。2.根据权利要求1所述的数据同步方法，其特征在于，所述根据各个所述分片任务生成迁移计划，包括：当已生成的迁移计划的数量小于所述分片任务的数量时，检测分布式锁；根据获得分布式锁的所述分片任务生成迁移计划并重复执行所述检测分布式锁的步骤直至已生成的迁移计划等于所述分片任务的数量。3.根据权利要求1所述的数据同步方法，其特征在于，所述根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据，包括：根据所述目标分片任务对应的迁移计划的开始ID从所述第一数据源中读取预设数量条目标数据；其中，所述目标分片任务对应的迁移计划的所述开始ID的初始值为所述目标分片任务中包括的若干个连续的数据ID中的第一个数据ID。4.根据权利要求3所述的数据同步方法，其特征在于，所述将读取到的各个所述目标数据同步至第二数据源中，包括：对读取到的各个所述目标数据进行第一预设处理后写入至所述第二数据源中；对写入至所述第二数据源中的所述目标数据进行第二预设处理，并将各个所述目标数据中最后一条数据对应的ID更新所述目标分片任务中的所述开始ID；重复执行所述根据所述目标分片任务对应的迁移计划中的数据ID分别从第一数据源中读取对应的目标数据的步骤，直至将所述目标分片任务对应的迁移计划中的结束ID对应的数据写入至所述第二数据源中。5.根据权利要求1所述的数据同步方法，其特征在于，所述将读取到的各个所述目标数据同步至第二数据源中之后，还包括：获取第二同步任务，所述第二同步任务中包括同步时间戳；根据所述同步时间戳在所述第一数据源中查找各个第一目标数据ID，所述第一目标数据ID对应的数据的更新时间戳不早于所述同步时间戳；分别获取各个所述第一目标数据ID对应的第一更新时刻和第二更新时刻，所述第一更新时刻为所述第一目标数据ID在所述第一数据源中对应的数据的更新时刻，所述第二更新时刻为所述第一目标数据ID在所述第二数据源中对应的数据的更新时刻；当所述第一目标数据ID对应的所述第一更新时刻晚于所述第二更新时刻时，从所述第一数据源中读取所述第一目标数据ID对应的数据并进行第一预设处理，根据进行所述第一预设处理后的数据更新所述第二数据源...

【专利技术属性】
技术研发人员：党斌晖，
申请(专利权)人：北京来看科技有限公司，
类型：发明
国别省市：