【技术实现步骤摘要】
数据同步方法、装置、计算机设备和存储介质
[0001]本申请涉及计算机
,尤其涉及一种数据同步方法、装置、计算机设备和存储介质。
技术介绍
[0002]业务从一个单机数据库迁移到一个分布式数据库时,有一个重要的流程就是当业务迁移成功后,有个反向同步的窗口期,用于防止万一迁移出现不成功时,业务还能快速的回切到原单机数据库上。在分布式数据库(源端数据库)向单机数据库(目标端数据库)同步增量数据的过程中,服务端定时从分布式数据库和单机数据库拉取需要进行比对校验的数据,当业务负载较高时服务端会堆积大量来自单机数据库的无效中间待校验数据,而服务端对无效的中间校验数据进行校验同步处理将会浪费服务端的计算力。
技术实现思路
[0003]为了解决上述技术问题,本申请提供了一种数据同步方法、装置、计算机设备和存储介质。
[0004]第一方面,本申请提供了一种数据同步方法,包括:
[0005]在符合数据比对条件的情况下,向源端数据库发送第一拉取请求,其中,所述第一拉取请求用于请求拉取预设时长内的第一比对数据;
[0006]在接收到来自所述源端数据库的所述第一比对数据的情况下,向目标端数据库发送第二拉取请求,其中,所述第二拉取请求用于请求拉取与所述第一比对数据对应的第二比对数据;
[0007]在接收到所述第二比对数据的情况下,根据所述第一比对数据与所述第二比对数据之间的比对结果,确定所述源端数据库与所述目标端数据库之间的目标差异数据;
[0008]根据所述目标差异数据对所述目标 ...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法,其特征在于,所述方法包括:在符合数据比对条件的情况下,向源端数据库发送第一拉取请求,其中,所述第一拉取请求用于请求拉取预设时长内的第一比对数据;在接收到来自所述源端数据库的所述第一比对数据的情况下,向目标端数据库发送第二拉取请求,其中,所述第二拉取请求用于请求拉取与所述第一比对数据对应的第二比对数据;在接收到所述第二比对数据的情况下,根据所述第一比对数据与所述第二比对数据之间的比对结果,确定所述源端数据库与所述目标端数据库之间的目标差异数据;根据所述目标差异数据对所述目标端数据库进行同步处理。2.根据权利要求1所述的方法,其特征在于,所述在符合数据比对条件的情况下,向源端数据库发送第一拉取请求,包括:在达到预设比对时刻的情况下,向所述源端数据库发送第一拉取请求;或,在获取到上一批次数据同步完成信号的情况下,向所述源端数据库发送第一拉取请求。3.根据权利要求1所述的方法,其特征在于,所述在接收到来自所述源端数据库的所述第一比对数据的情况下,向目标端数据库发送第二拉取请求,包括:在接收到来自所述源端数据库的所述第一比对数据的情况下,将所述第一比对数据拆分为多个比对任务,其中,所述第一比对数据包括多个第一待比对记录;按照预设滑动窗口依次滑动选取未经比对的所述比对任务作为目标任务保存至任务队列中,其中,所述任务队列中所述目标任务的数量等于所述预设滑动窗口的窗口数;针对所述任务队列中的每个所述目标任务启动一个比对线程;通过每个所述比对线程根据相应所述目标任务中各个所述第一待比对记录的记录标识,生成各个所述目标任务对应的所述第二拉取请求,其中,所述第二拉取请求用于请求从所述目标端数据库中拉取与相应所述目标任务中,各个所述第一待比对记录的记录标识相应的第二待比对记录,所述第二比对数据包括多个所述第二待比对记录;发送各个所述第二拉取请求至所述目标端数据库。4.根据权利要求3所述的方法,其特征在于,所述根据所述第一比对数据与所述第二比对数据之间的比对结果,确定所述源端数据库与所述目标端数据库之间的目标差异数据,包括:通过每个所述比对线程按照预设比对方案,将各个所述目标任务中每个所述第一待比对记录与多个所述第二待比对记录进行比对处理,得到各个所述目标任务对应的比对结果;确定各个所述比对任务的比对状态;在存在比对状态为未经比对的所述比对任务的情况下,执行所述按照预设滑动窗口依次滑动选取未经比对的所述比对任务作为目标任务保存至任务队列中,直至得到各个所述目标任务对应的比对结果的步骤;在全部所述比对任务的比对状态为已经比对的情况下,根据全部所述比对任务对应的比对结果,确定所述源端数据库与所述目标端数据库之间的目标差异数据。5.根据权利要求4所述的方法,其特征在于,所述通过每个所述比对线程按照预设比对
方案,将各个所述目标任务中每个所述第一待比对记录与多个所述第二待比对记录进行比对处理,得到各个所述目标任务对应的比对结果,包括:通过当前比对线程确定当前目标任务中当前第一待比对记录的记录标识与各个所述第二待比对记录的记录标识之间的第一匹配结果,其中,所述当前第一待比对记录为所述当前目标任务中任意一个未经比对的所述第一待...
【专利技术属性】
技术研发人员:戴扶,
申请(专利权)人:金篆信科有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。