数据同步方法、装置、计算机设备、存储介质制造方法及图纸

本说明书一实施例提供了一种数据同步方法、装置、计算机设备、存储介质，其中，方法包括：按照批次获取数据的方式，从源数据库处获取多个批次的待同步数据，并分别为各批次的待同步数据设置批次编号；对于每个批次，根据批次的批次编号和批次中的各待同步数据的数据获取顺序，为批次中的各待同步数据设置唯一数据编号；针对每条待同步数据，根据待同步数据的主键信息，确定待同步数据在目标数据库所对应的消息中间件中的目标同步分区；根据各待同步数据所对应的目标同步分区，对各批次的全部条待同步数据进行分组；将位于同一组内的各待同步数据按照唯一数据编号发送至相应的目标同步分区。通过本实施例，能够保证数据同步过程中的数据有序性。程中的数据有序性。程中的数据有序性。

【技术实现步骤摘要】
数据同步方法、装置、计算机设备、存储介质


[0001]本说明书涉及数据处理领域，尤其涉及一种数据同步方法、装置、计算机设备、存储介质。

技术介绍

[0002]目前，在对数据库中的数据进行同步时，通常先将待同步的数据发送至消息中间件，再通过消息中间件将待同步的数据发送至目标数据库。数据同步过程中的数据有序性，一直是业内关注的问题。当同一字段在很短的时间内发生多次数据变更时，若这多次数据变更没有按照相应的变更顺序发送至消息中间件，则可能导致数据存储结果的错误。
[0003]举例而言，用户先将字段A的值设置为1，短时间内又将字段A的值修改为2，若没有保证这两次数据变更按照相应的变更顺序发送至消息中间件，比如先将后一次的数据变更发送至消息中间件，再将前一次的数据变更发送至消息中间件，则有可能导致目标数据库中最终存储的字段A的值为1，引起数据存储结果错误。

技术实现思路

[0004]本说明书实施例的目的是提供一种数据同步方法、装置、计算机设备、存储介质，以保证数据同步过程中的数据有序性。
[0005]为了实现上述技术方案，本说明书实施例是这样实现的：
[0006]第一方面，本说明书一实施例提供的一种数据同步方法，包括：
[0007]按照批次获取数据的方式，从源数据库处获取多个批次的待同步数据，并分别为各个批次的所述待同步数据设置批次编号；
[0008]对于每个批次，根据所述批次的批次编号和所述批次中的各条待同步数据的数据获取顺序，为所述批次中的各条待同步数据设置唯一数据编号；
[0009]针对每个批次的每条待同步数据，根据所述待同步数据的主键信息，确定所述待同步数据在目标数据库所对应的消息中间件中的目标同步分区；
[0010]根据各个批次包含的全部待同步数据所对应的所述目标同步分区，对所述全部待同步数据进行分组；
[0011]将位于同一组内的各条所述待同步数据按照所述唯一数据编号发送至相应的所述目标同步分区。
[0012]第二方面，本说明书一实施例提供的一种数据同步装置，包括：
[0013]第一编号设置单元，用于按照批次获取数据的方式，从源数据库处获取多个批次的待同步数据，并分别为各个批次的所述待同步数据设置批次编号；
[0014]第二编号设置单元，用于对于每个批次，根据所述批次的批次编号和所述批次中的各条待同步数据的数据获取顺序，为所述批次中的各条待同步数据设置唯一数据编号；
[0015]目标分区确定单元，用于针对每个批次的每条待同步数据，根据所述待同步数据的主键信息，确定所述待同步数据在目标数据库所对应的消息中间件中的目标同步分区；
[0016]数据分组单元，用于根据各个批次包含的全部待同步数据所对应的所述目标同步分区，对所述全部待同步数据进行分组；
[0017]数据同步单元，用于将位于同一组内的各条所述待同步数据按照所述唯一数据编号发送至相应的所述目标同步分区。
[0018]第三方面，本说明书一实施例提供的一种计算机设备，所述设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述计算机可执行指令被配置由所述处理器执行，所述计算机可执行指令用于执行如上述第一方面所述的方法中的步骤。
[0019]第四方面，本说明书一实施例提供的一种存储介质，所述存储介质用于存储计算机可执行指令，所述计算机可执行指令使得计算机执行如上述第一方面所述的方法中的步骤。
[0020]可以看出，本实施例中，按照批次获取数据的方式，从源数据库处获取多个批次的待同步数据，并分别为各个批次的待同步数据设置批次编号，对于每个批次，根据批次的批次编号和批次中的各条待同步数据的数据获取顺序，为批次中的各条待同步数据设置唯一数据编号，针对每个批次的每条待同步数据，根据待同步数据的主键信息，确定待同步数据在目标数据库所对应的消息中间件中的目标同步分区，根据各个批次包含的全部待同步数据所对应的目标同步分区，对全部待同步数据进行分组，将位于同一组内的各条待同步数据按照唯一数据编号发送至相应的目标同步分区。通过本实施例，通过唯一数据编号，可以反映批次中的各条待同步数据的数据获取顺序，可以通过设置批次编号、根据批次编号设置唯一数据编号、确定分区、数据分组、数据发送的过程，达到将需要发送至同一分区的多条待同步数据按照数据获取顺序发送至相应的分区的效果，从而保证了在消息中间件的同一分区内，数据同步的有序性，避免了数据存储结果错误的情况。
附图说明
[0021]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0022]图1为本说明书一实施例提供的数据同步的场景示意图；
[0023]图2为本说明书一实施提供的数据同步方法的流程示意图；
[0024]图3为本说明书另一个实施例提供的数据同步的场景示意图；
[0025]图4为本说明书一实施例提供的数据同步装置的结构示意图；
[0026]图5为本说明书一实施例提供的计算机设备的结构示意图。
具体实施方式
[0027]为了使本
的人员更好地理解本说明书一个或多个中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一个或多个一部分实施例，而不是全部的实施例。基于本说明书一个或多个中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书的保护范围。
[0028]需要说明的是，在不冲突的情况下，本说明书中的一个或多个实施例以及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本说明书实施例。
[0029]为了保证数据同步过程中的数据有序性，避免数据存储结果错误，本说明书一个或多个实施例提供了一种数据同步方法，该方法中，按照批次获取数据的方式，从源数据库处获取多个批次的待同步数据，并分别为各个批次的待同步数据设置批次编号，对于每个批次，根据批次的批次编号和批次中的各条待同步数据的数据获取顺序，为批次中的各条待同步数据设置唯一数据编号，针对每个批次的每条待同步数据，根据待同步数据的主键信息，确定待同步数据在目标数据库所对应的消息中间件中的目标同步分区，根据各个批次包含的全部待同步数据所对应的目标同步分区，对全部待同步数据进行分组，将位于同一组内的各条待同步数据按照唯一数据编号发送至相应的目标同步分区。一方面，通过本实施例，通过唯一数据编号，可以反映批次中的各条待同步数据的数据获取顺序，可以通过设置批次编号、根据批次编号设置唯一数据编号、确定分区、数据分组、数据发送的过程，达到将需要发送至同一分区的多条待同步数据按照数据获取顺序发送至相应的分区的效果，从而保证了在消息中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：按照批次获取数据的方式，从源数据库处获取多个批次的待同步数据，并分别为各个批次的所述待同步数据设置批次编号；对于每个批次，根据所述批次的批次编号和所述批次中的各条待同步数据的数据获取顺序，为所述批次中的各条待同步数据设置唯一数据编号；针对每个批次的每条待同步数据，根据所述待同步数据的主键信息，确定所述待同步数据在目标数据库所对应的消息中间件中的目标同步分区；根据各个批次包含的全部待同步数据所对应的所述目标同步分区，对所述全部待同步数据进行分组；将位于同一组内的各条所述待同步数据按照所述唯一数据编号发送至相应的所述目标同步分区。2.根据权利要求1所述的方法，其特征在于，所述分别为各个批次的所述待同步数据设置批次编号，包括：对于第一批次获取的待同步数据，确定第一批次的所述待同步数据的获取时间信息，根据所述获取时间信息，确定第一批次的所述待同步数据的批次编号；对于第N批次获取的待同步数据，对第N
‑
1批次的所述待同步数据的批次编号进行处理，得到第N批次的所述待同步数据的批次编号；其中，所述N为大于等于2的正整数。3.根据权利要求2所述的方法，其特征在于，所述根据所述获取时间信息，确定第一批次的所述待同步数据的批次编号，包括：按照第一计算规则对所述获取时间信息进行计算，将计算结果作为第一批次的所述待同步数据的批次编号。4.根据权利要求1所述的方法，其特征在于，所述根据所述批次的批次编号和所述批次中的各条待同步数据的数据获取顺序，为所述批次中的各条待同步数据设置唯一数据编号，包括：根据所述批次的批次编号，确定所述批次中的第一条获取的所述待同步数据的唯一数据编号；对于所述批次中的第M条获取的所述待同步数据，对所述批次中的第M
‑
1条获取的所述待同步数据的唯一数据编号进行处理，得到所述批次中的第M条获取的所述待同步数据的唯一数据编号；其中，所述M为大于等于2的正整数。5.根据权利要求4所述的方法，其特征在于，所述根据所述批次的批次编号，确定所述批次中的第一条获取的所述待同步数据的唯一数据编号，包括：按照第二计算规则对所述批次的批次编号进行计算，将计算结果作为所述批次中的第一条获取的所述待同步数据的唯一数据编号。6.根据权利要求1所述的方法，其特征在于，所述针对每个批次的每条待同步数据，根据所述待同步数据的主键信息，确定所述待同步数据在目标数据库所对应的消息中间件中的目标同步分区，包括：计算所述待同步数据的主键信息的哈希值；
根据所述哈希值和所述目标数据库所对应的消息中间件中的分区数量，确定所述待同步数据在所述消息中间件中的目标同步分区。7.根据权利要求6所述的方法，其特征在于，所述根据所述哈希值和所述目标数据库所对应的消...

【专利技术属性】
技术研发人员：亓文博，曾琳铖曦，蒋宁，吴海英，刘德华，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：