数据同步方法及装置、电子设备、存储介质制造方法及图纸

本说明书提供一种数据同步方法及装置、电子设备、存储介质，所述方法包括：在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。通过对数据同步任务的优化，提高了数据同步的容错性，且无需另设存储空间对未同步成功的数据进行标记，减小了资源消耗，同时提高了数据同步的效率。

【技术实现步骤摘要】
数据同步方法及装置、电子设备、存储介质
本说明书涉及大数据
，尤其涉及数据同步方法及装置、电子设备、存储介质。
技术介绍
目前数据同步过程中，特别是全量数据的同步，若数据同步任务失败，会直接抛出异常，导致该同步任务失败终止。由于全量数据的同步任务难以标记失败的点，也就无法确定哪些数据同步成功，哪些数据未同步成功，若再次执行该同步任务，需要重新将之前同步过的数据再次同步，容易造成资源浪费，成本过高。
技术实现思路
为克服相关技术中存在的问题，本说明书提供了数据同步方法及装置、电子设备、存储介质。根据本说明书实施例的第一方面，提供一种数据同步方法，所述数据同步方法包括：在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。可选地，在确定所述异常原因的类型之前，还包括：判断所述同步任务的执行时长是否小于时长阈值，或已同步数据量是否小于数据量阈值；若判断为是，则重新执行所述同步任务和/或生成报警信息；若判断为否，则执行确定所述异常原因的类型的步骤。可选地，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；根据所述同步任务的执行参数确定重试执行条件，包括：根据时长系数与所述执行参数确定所述尝试执行时间段，所述时长系数由所述异常原因的历史统计恢复时长确定；和/或，根据次数系数与所述执行参确定所述最大尝试次数，所述次数系数由所述异常原因的历史统计恢复时长确定。可选地，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；所述执行参数包含执行时长和/或已同步数据量；所述尝试执行时间段的时长的计算公式为：T＝a*t，或T＝b*S；所述最大尝试次数的计算公式为：I＝c*t，或I＝d*S；其中，T表示所述尝试执行时间段的时长，t表示所述执行时长，S表示所述已同步数据量，a表示第一时长系数，b表示第二时长系数，I表示所述最大尝试次数，c表示第一次数系数，d表示第二次数系数。可选地，若经过所述尝试执行时间段或尝试执行次数大于所述最大尝试次数，仍未成功，则重新执行所述同步任务和/或生成报警信息。可选地，所述数据同步方法还包括：在接收到类型设置请求的情况下，根据所述类型设置请求配置异常类型列表，所述异常类型列表包含异常原因信息；确定所述异常原因的类型为可恢复类型，包括：若所述异常类型列表中存在与所述异常原因相匹配的异常原因信息，则确定所述异常原因的类型为可恢复类型。可选地，所述数据同步方法还包括：在确定所述异常原因的类型为可恢复类型的情况下，若异常类型列表不包含于所述异常原因对应的异常原因信息，则将与所述异常原因对应的异常原因信息添加至所述异常类型列表，所述异常类型列表用于记载可恢复类型的异常原因信息。根据本说明书实施例的第二方面，提供一种数据同步装置，所述数据同步装置包括：获取模块，用于在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；确定模块，用于在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；执行模块，用于在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。可选地，所述数据同步装置还包括：判断模块，用于判断所述同步任务的执行时长是否小于时长阈值，或已同步数据量是否小于数据量阈值；所述判断模块，还用于在判断为是的情况下，重新执行所述同步任务和/或生成报警信息；在判断为否的情况下，调用所述确定模块。可选地，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；在根据所述同步任务的执行参数确定重试执行条件时，所述确定模块用于：根据时长系数与所述执行参数确定所述尝试执行时间段，所述时长系数由所述异常原因的历史统计恢复时长确定；和/或，根据次数系数与所述执行参确定所述最大尝试次数，所述次数系数由所述异常原因的历史统计恢复时长确定。可选地，若经过所述尝试执行时间段或尝试执行次数大于所述最大尝试次数，仍未成功，所述执行模块还用于重新执行所述同步任务和/或生成报警信息。可选地，所述数据同步装置还包括：配置模块，用于在接收到类型设置请求的情况下，根据所述类型设置请求配置异常类型列表，所述异常类型列表包含异常原因信息；在确定所述异常原因的类型时，所述确定模块用于：若所述异常类型列表中存在与所述异常原因相匹配的异常原因信息，则确定所述异常原因的类型为可恢复类型。根据本说明书实施例的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的数据同步方法。根据本说明书实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的数据同步方法的步骤。本说明书的实施例提供的技术方案可以包括以下有益效果：本说明书实施例中，数据同步失败捕获到异常原因时，不直接停止同步任务，而是判断该异常原因是否是可恢复的异常。如果是，则根据同步任务的执行参数确定重试执行条件，并在满足该重试执行条件的情况下，周期性地尝试继续执行同步任务的未完成部分，直到执行成功，将未同步成功的数据同步至目的数据表，对于已经同步成功的无需重新同步。从而，通过对数据同步任务的优化，提高了数据同步的容错性，且无需另设存储空间对未同步成功的数据进行标记，减小了资源消耗，同时提高了数据同步的效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。图1是本说明书根据一示例性实施例示出的一种数据同步方法的流程图。图2是本说明书根据一示例性实施例示出的另一种数据同步方法的流程图。图3是本说明书根据一示例性实施例示出的另一种数据同步方法的流程图。图4是本说明书根据一示例性实施例示出的一种数据同步装置的框图。图5本说明书根据一示例性实施例示出的一种电子设备的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，所述数据同步方法包括：/n在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；/n在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；/n在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。/n

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述数据同步方法包括：
在同步任务执行失败的情况下，获取导致所述同步任务执行失败的异常原因，所述同步任务用于实施源数据表向目的数据表的数据同步操作；
在确定所述异常原因的类型为可恢复类型的情况下，根据所述同步任务的执行参数确定重试执行条件；
在满足重试执行条件的情况下，尝试执行所述同步任务的未完成部分，直到执行成功，以继续实施所述源数据表向所述目的数据表的数据同步操作。


2.如权利要求1所述的数据同步方法，其特征在于，在确定所述异常原因的类型之前，还包括：
判断所述同步任务的执行时长是否小于时长阈值，或已同步数据量是否小于数据量阈值；
若判断为是，则重新执行所述同步任务和/或生成报警信息；
若判断为否，则执行确定所述异常原因的类型的步骤。


3.如权利要求1所述的数据同步方法，其特征在于，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；
根据所述同步任务的执行参数确定重试执行条件，包括：
根据时长系数与所述执行参数确定所述尝试执行时间段，所述时长系数由所述异常原因的历史统计恢复时长确定；
和/或，根据次数系数与所述执行参确定所述最大尝试次数，所述次数系数由所述异常原因的历史统计恢复时长确定。


4.如权利要求1所述的数据同步方法，其特征在于，所述重试执行条件包含尝试执行时间段和/或最大尝试次数；
所述执行参数包含执行时长和/或已同步数据量；
所述尝试执行时间段的时长的计算公式为：
T＝a*t，或T＝b*S；
所述最大尝试次数的计算公式为：
I＝c*t，或I＝d*S；
其中，T表示所述尝试执行时间段的时长，t表示所述执行时长，S表示所述已同步数据量，a表示第一时长系数，b表示第二时长系数，I表示所述最大尝试次数，c表示第一次数系数，d表示第二次数系数。


5.如权利要求3或4所述的数据同步方法，其特征在于，若经过所述尝试执行时间段或尝试执行次数大于所述最大尝试次数，仍未成功，则重新执行所述同步任务和/或生成报警信息。


6.如权利要求1所述的数据同步方法，其特征在于，所述数据同步方法还包括：
在接收到类型设置请求的情况下，根据所述类型设置请求配置异常类型列表，所述异常类型列表包含异常原因信息；
确定所述异常原因的类型为可恢复类型，包括：
若所述异常类型列表中存在与所述异常原因相匹配的异常原因信息，则确定所述异常原因的类型为可恢复类型。


7.如权利要求1所述的数据同步方法，其特征在于，所述数据同步方法还包括：
在确定所述异常原因的类型为可恢复类型...

【专利技术属性】
技术研发人员：姜晓明，褚占峰，黄杰，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：浙江;33