数据同步方法、装置、电子设备和计算机可读介质制造方法及图纸

技术编号:29046909 阅读:36 留言:0更新日期:2021-06-26 06:04
本公开的实施例公开了数据同步方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:响应于接收到目标数据同步任务的参数信息,生成目标数据同步任务的任务键值对;响应于任务键值对的前置父任务键值对的值包括的执行状态信息表征执行完成,根据执行节点集群中各个执行节点的健康度,从执行节点集群中选择执行节点作为目标执行节点,其中,目标执行节点用于响应于源端数据库的连接状态为已连接状态,基于目标数据库地址信息,将根据源端数据库地址信息和同步类型生成的数据同步操作语句发送至目标数据库,目标数据库用于执行数据同步操作语句。该实施方式可以减少执行数据同步任务的设备出现负载异常的次数。数。数。

【技术实现步骤摘要】
数据同步方法、装置、电子设备和计算机可读介质


[0001]本公开的实施例涉及计算机
,具体涉及数据同步方法、装置、电子设备和计算机可读介质。

技术介绍

[0002]随着计算机技术的普及和发展,网络应用产生的数据呈井喷式增加。现有技术往往采用分布式数据库存储海量数据。为了避免分布式数据库出现故障时,所造成的数据丢失或损坏,往往需要将待备份数据库中的数据同步至备份数据库。目前,在将待备份数据库中的数据同步至备份数据库时,通常采用的方式为:从待备份数据库中获取待备份数据,将待备份数据同步至备份数据库。
[0003]然而,当采用上述方式进行数据同步操作时,经常会存在如下技术问题:
[0004]第一,存在多个数据同步任务时,往往会导致执行数据同步任务的设备出现负载异常的次数增多,从而,导致数据同步任务中断次数增多;
[0005]第二,往往未能对同步的数据进行实时校验处理,使得数据同步异常时,不能较快地定位异常的同步数据。

技术实现思路

[0006]本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法,包括:响应于接收到目标数据同步任务的参数信息,生成所述目标数据同步任务的任务键值对,其中,所述参数信息包括所述目标数据同步任务对应的源端数据库的源端数据库地址信息、所述目标数据同步任务对应的目标数据库的目标数据库地址信息和同步类型;响应于所述任务键值对的前置父任务键值对的值包括的执行状态信息表征执行完成,根据执行节点集群中各个执行节点的健康度,从所述执行节点集群中选择执行节点作为目标执行节点,其中,所述目标执行节点用于响应于所述源端数据库的连接状态为已连接状态,基于所述目标数据库地址信息,将根据所述源端数据库地址信息和所述同步类型生成的数据同步操作语句发送至所述目标数据库,所述目标数据库用于执行所述数据同步操作语句。2.根据权利要求1所述的方法,其中,所述方法还包括:从所述目标数据库中获取目标数据同步操作日志,其中,所述目标数据同步操作日志包括同步数据集合;对于所述同步数据集合中的每个同步数据,执行以下步骤:确定所述源端数据库是否满足所述同步数据对应的数据同步操作类型对应的预定异常条件;响应于确定是,将所述同步数据发送至目标终端设备。3.根据权利要求1所述的方法,其中,在所述从所述执行节点集群中选择执行节点作为目标执行节点之前,所述方法还包括:响应于所述源端数据库的连接状态为已连接状态,从所述源端数据库获取目标数据;将预设数据同步操作语句发送至所述目标数据库;响应于接收到所述目标数据库发送的执行结果,基于接收到所述执行结果的时间和获取到所述目标数据的时间,生成数据延迟检测结果,其中,所述数据延迟检测结果表征数据同步是否延迟。4.根据权利要求3所述的方法,其中,所述从所述执行节点集群中选择执行节点作为目标执行节点,包括:响应于所述数据延迟检测结果表征数据同步未延迟,从所述执行节点集群中选择执行节点作为目标执行节点。5.根据权利要求3所述的方法,其中,所述生成数据延迟检测结果,包括:将获取到所述目标数据的时间确定为目...

【专利技术属性】
技术研发人员:孟可彭安钱熙张谦李亚迪刘世林
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1