数据同步方法、设备及存储介质技术

本申请提供了一种数据同步方法、设备及存储介质，其中，该方法包括：数据接收方将从数据提供方查询到的待同步数据拆分为多个页数据，每个页数据中包括多个待同步子数据，数据接收方获取数据接收方的任务并发度，任务并发度用于指示并行进行数据同步的处理线程的数量，数据接收方根据预设的任务分配策略和任务并发度，将多个页数据分配给多个处理线程，数据接收方将每个处理线程的页数据依次同步至数据接收方，得到待同步数据的数据同步结果。在本申请中，将待同步数据拆分为多个页数据，并发进行页数据的同步，缩短了同步时间，提高了数据同步效率和成功率，并且减少了环境因素的影响，提升了数据同步稳定性。提升了数据同步稳定性。提升了数据同步稳定性。

【技术实现步骤摘要】
数据同步方法、设备及存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种数据同步方法、设备及存储介质。

技术介绍

[0002]随着数据处理技术的快速发展，通常需要将数据提供方的业务数据同步至数据接收方，以便数据接收方基于同步的业务数据进行相应业务处理。
[0003]现有技术中，数据提供方和数据接收方可能具有两个互相隔离的业务系统，数据提供方提供有超文本传输协议(Hyper Text Transfer Protocol，HTTP)的接口以将业务数据同步至数据接收方。
[0004]然而，随着同步的数据量越来越大，同步时间较长，很容易超过HTTP协议的超时阈值，并且由于同步时间较长，受环境因素影响风险较大，从而导致数据同步失败。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种数据同步方法、设备及存储介质，以解决现有技术中数据量大导致数据同步失败的问题。
[0006]第一方面，本申请实施例提供了一种数据同步方法，应用于数据接收方，所述方法包括：
[0007]将从数据提供方查询到的待同步数据拆分为多个页数据，每个页数据中包括多个待同步子数据；
[0008]获取所述数据接收方的任务并发度，所述任务并发度用于指示并行进行数据同步的处理线程的数量；
[0009]根据预设的任务分配策略和所述任务并发度，将所述多个页数据分配给多个处理线程；
[0010]将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果。<br/>[0011]在一可选的实施方式中，所述将从数据提供方查询到的待同步数据拆分为多个页数据之前，所述方法还包括：
[0012]接收所述数据提供方发送的数据同步信号，所述数据同步信号中包括：所述待同步数据的数据标识和总数据量；
[0013]根据所述数据标识和所述总数据量，采用任务管理器对所述待同步数据进行分页查询，所述任务管理器用于对所述待同步数据进行分页查询。
[0014]在一可选的实施方式中，所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果，包括：
[0015]采用每个所述处理线程，将对应的页数据从所述数据提供方依次同步至所述数据接收方；
[0016]若目标页数据同步失败，则跳过所述目标页数据，并采用所述目标页数据对应的处理线程，将所述目标页数据之后的页数据依次同步至所述数据接收方，得到所述数据同步结果，所述数据同步结果包括：目标页数据同步失败以及所述目标页数据之外的其它页数据同步成功。
[0017]在一可选的实施方式中，所述方法还包括：
[0018]若目标页数据同步失败，则更新失败计数器的失败计数，其中，所述失败计数器用于对同步失败的页数据进行页数统计。
[0019]在一可选的实施方式中，所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果之后，所述方法还包括：
[0020]根据所述失败计数，确定所述页数据是否全部同步成功；
[0021]若所述失败计数指示所述页数据未全部同步成功，则根据所述数据同步结果，确定所述页数据中同步失败的失败页数据的页码标识；
[0022]采用所述失败页数据对应的处理线程，对所述失败页数据进行重复同步，直至达到预设同步停止条件，所述预设同步停止条件包括：达到预设补偿次数阈值，和/或，所述失败页数据同步成功；
[0023]若达到所述预设同步停止条件，则更新所述数据同步结果为预设同步次数后所述失败页数据同步失败以及所述其它页数据同步成功，或者所述页数据全部同步成功。
[0024]在一可选的实施方式中，所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果之后，所述方法还包括：
[0025]根据所述失败计数，确定所述页数据是否全部同步成功；
[0026]若所述失败计数指示所述页数据未全部同步成功，则更新所述数据同步结果为所述页数据同步失败。
[0027]在一可选的实施方式中，所述根据所述失败计数，确定所述页数据是否全部同步成功之前，所述方法还包括：
[0028]判断多个所述处理线程正在同步的页数据中是否包括所述多个页数据中的终止页数据；
[0029]若任意处理线程正在同步的页数据为所述终止页数据，则将所述终止页数据同步完成后，更新任务管理器的状态为同步完成；
[0030]所述根据所述失败计数，确定所述页数据是否全部同步成功，包括：
[0031]响应于所述任务管理器的状态更新为同步完成，则根据所述失败计数，确定所述页数据是否全部同步成功。
[0032]在一可选的实施方式中，所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果之前，所述方法还包括：
[0033]判断所述多个处理线程待同步的页数据中是否包括所述多个页数据中的起始页数据；
[0034]若任意处理线程待同步的页数据为所述起始页数据，则更新任务管理器的状态为同步中；
[0035]所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果，包括：
[0036]响应于所述任务管理器的状态更新为同步中，将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果。
[0037]第二方面，本申请实施例还提供了一种数据同步装置，应用于数据接收方，所述装置包括：
[0038]处理模块，用于将从数据提供方查询到的待同步数据拆分为多个页数据，每个页数据中包括多个待同步子数据；
[0039]获取模块，用于获取所述数据接收方的任务并发度，所述任务并发度用于指示并行进行数据同步的处理线程的数量；
[0040]所述处理模块，还用于根据预设的任务分配策略和所述任务并发度，将所述多个页数据分配给多个处理线程；
[0041]同步模块，用于将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果。
[0042]在一可选的实施方式中，所述装置还包括：
[0043]接收模块，用于接收所述数据提供方发送的数据同步信号，所述数据同步信号中包括：所述待同步数据的数据标识和总数据量；
[0044]所述处理模块，还用于根据所述数据标识和所述总数据量，采用任务管理器对所述待同步数据进行分页查询，所述任务管理器用于对所述待同步数据进行分页查询。
[0045]在一可选的实施方式中，所述同步模块，具体用于：
[0046]采用每个所述处理线程，将对应的页数据从所述数据提供方依次同步至所述数据接收方；
[0047]若目标页数据同步失败，则跳过所述目标页数据，并采用所述目标页数据对应的处理线程，将所述目标页数据之后的页数据依次同步至所述数据接收方，得到所述数据同步结果，所述数据同步结果包括：目标页数据同步失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于数据接收方，所述方法包括：将从数据提供方查询到的待同步数据拆分为多个页数据，每个页数据中包括多个待同步子数据；获取所述数据接收方的任务并发度，所述任务并发度用于指示并行进行数据同步的处理线程的数量；根据预设的任务分配策略和所述任务并发度，将所述多个页数据分配给多个处理线程；将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果。2.根据权利要求1所述的方法，其特征在于，所述将从数据提供方查询到的待同步数据拆分为多个页数据之前，所述方法还包括：接收所述数据提供方发送的数据同步信号，所述数据同步信号中包括：所述待同步数据的数据标识和总数据量；根据所述数据标识和所述总数据量，采用任务管理器对所述待同步数据进行分页查询，所述任务管理器用于对所述待同步数据进行分页查询。3.根据权利要求1所述的方法，其特征在于，所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果，包括：采用每个所述处理线程，将对应的页数据从所述数据提供方依次同步至所述数据接收方；若目标页数据同步失败，则跳过所述目标页数据，并采用所述目标页数据对应的处理线程，将所述目标页数据之后的页数据依次同步至所述数据接收方，得到所述数据同步结果，所述数据同步结果包括：目标页数据同步失败以及所述目标页数据之外的其它页数据同步成功。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：若目标页数据同步失败，则更新失败计数器的失败计数，其中，所述失败计数器用于对同步失败的页数据进行页数统计。5.根据权利要求4所述的方法，其特征在于，所述将每个所述处理线程的页数据从所述数据提供方依次同步至所述数据接收方，得到数据同步结果之后，所述方法还包括：根据所述失败计数，确定所述页数据是否全部同步成功；若所述失败计数指示所述页数据未全部同步成功，则根据所述数据同步结果，确定所述页数据中同步失败的失败页数据的页码标识；采用所述失败页数据对应的处理线程，对所述失败页数据进行重复同步，直至达到预设同步停止条件，所述预设同步停止条件包括：达到预设补偿次数阈值，和/或，所述失败页数据同步成功...

【专利技术属性】
技术研发人员：张有伟，
申请(专利权)人：武汉蔚能电池资产有限公司，
类型：发明
国别省市：