一种数据同步方法和装置制造方法及图纸

本申请公开了一种数据同步方法和装置，该方法包括：接收待同步的全量数据，所述全量数据中包括多条数据记录；获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。

A Data Synchronization Method and Device

【技术实现步骤摘要】
一种数据同步方法和装置
本申请涉及数据处理领域，尤其涉及一种数据同步方法和装置。
技术介绍
现有的机构中，当不同机构之间进行数据交互后，往往需要进行数据同步，以保证不同机构之间的数据一致性。例如，支付机构在与银行进行数据交互后，银行可以将交互过程中产生的账单数据同步至支付机构，以保证支付机构中记录的账单数据与银行记录的账单数据一致。通常，机构之间在进行数据同步时，以第一机构和第二机构为例，第一机构可以与第二机构进行多次数据同步，每次数据同步时，第一机构可以将本次同步的全量数据发送到第二机构，第二机构在接收到全量数据后，需要确定全量数据中哪些数据属于增量数据，并基于增量数据实现数据同步。然而，在实际应用中，由于全量数据通常比较多，因此，很难确定全量数据中哪些数据属于增量数据，导致不易实现数据同步。
技术实现思路
本申请实施例提供一种数据同步方法和装置，用于解决机构之间在基于全量数据中的增量数据进行数据同步时，由于很难确定全量数据中哪些数据属于增量数据，导致不易实现数据同步的问题。为解决上述技术问题，本申请实施例是这样实现的：第一方面，提出一种数据同步方法，包括：接收待同步的全量数据，所述全量数据中包括多条数据记录；获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。第二方面，提出一种数据同步装置，包括：接收单元，接收待同步的全量数据，所述全量数据中包括多条数据记录；获取单元，获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；确定单元，将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；同步单元，将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。第三方面，提出一种电子设备，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：接收待同步的全量数据，所述全量数据中包括多条数据记录；获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：接收待同步的全量数据，所述全量数据中包括多条数据记录；获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例提供的技术方案，一个机构在接收到来自另一机构待同步的全量数据后，在进行数据同步时，可以获取全量数据中多条数据记录对应的多个第一标识值，然后将多个第一标识值依次插入包括多个第二标识值的幂等表中，其中，一个第一标识值用于唯一标识全量数据中的一条数据记录，一个第二标识值用于唯一标识需要同步到的目标数据中的一条数据记录，这样，可以利用幂等表中数据的唯一性，即不允许相同的数值反复插入，确定成功插入幂等表的至少一个目标特征值，该至少一个目标特征值对应的数据记录即为全量数据中的增量数据，将这些增量数据同步到目标数据中，可以实现数据同步。由于可以利用幂等表中数据的唯一性，快速确定全量数据中的增量数据，因此，可以方便地基于增量数据实现数据同步。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请的一个实施例数据同步方法的流程示意图；图2是本申请的一个实施例数据同步方法的流程示意图；图3是本申请的一个实施例电子设备的结构示意图；图4是本申请的一个实施例数据同步装置的结构示意图。具体实施方式在现有技术中，机构之间在进行数据同步时，可以进行多次数据同步。以第一机构和第二机构为例，第一机构在每次进行数据同步时，可以将本次待同步的全量数据(包括上次同步时发送给第二机构的数据以及本次同步时的增量数据)发送给第二机构，第二机构在接收到全量数据后，可以确定全量数据中哪些数据属于增量数据，并基于增量数据实现数据同步。其中，第一机构每次发送给第二机构的全量数据中均可以包括多条数据记录，全量数据的形式可以是文件、数据表等。基于上述数据同步的具体过程可知，如何确定全量数据中的增量数据至关重要。现有技术中，第二机构在确定全量数据中的增量数据时，通常会将全量数据中的每条数据记录与第二机构中原有的目标数据中的每条数据记录进行逐一对比，基于对比结果确定增量数据。以第一机构为机构A，第二机构为机构B为例，具体步骤如下：当机构B第一次接收到来自机构A的全量数据1时，首先对全量数据1进行版本标记，并保存到中间表中，然后确定全量数据1中的增量数据，由于本次数据同步是机构A和机构B之间的第一次数据同步，因此可以将全量数据1作为增量数据，并将全量数据1同步到机构B中，实现第一次数据同步，其中，将全量数据1同步到机构B中时，可以将全量数据1存储到机构B的业务数据表中；当机构B第二次接收到来自机构A的全量数据2时，根据版本标记，可以从中间表中捞出第一次接收到的全量数据1(此时，全量数据1可以视为机构B中的目标数据)，并将全量数据2和全量数据1进行逐一对比，找出全量数据2中的增量数据，并将增量数据存储到机构B的业务数据本文档来自技高网...

【技术保护点】
1.一种数据同步方法，包括：接收待同步的全量数据，所述全量数据中包括多条数据记录；获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。

【技术特征摘要】
1.一种数据同步方法，包括：接收待同步的全量数据，所述全量数据中包括多条数据记录；获取所述全量数据中多条数据记录对应的多个第一标识值，一个第一标识值用于唯一标识所述全量数据中的一条数据记录；将所述多个第一标识值依次插入幂等表中，确定成功插入的至少一个目标标识值，所述幂等表中包括目标数据中多条数据记录对应的多个第二标识值，一个第二标识值用于唯一标识所述目标数据中的一条数据记录，所述多个第二标识值和所述多个第一标识值基于相同的方法确定得到，所述幂等表不允许与第二标识值相同的第一标识值插入；将所述全量数据中与所述至少一个目标标识值对应的数据记录同步至所述目标数据中。2.如权利要求1所述的数据同步方法，所述全量数据的多条数据记录中均包括标识字段，所述标识字段用于标识所述全量数据中的多条数据记录；其中，获取所述全量数据中多条数据记录对应的多个第一标识值，包括：获取所述全量数据中多条数据记录的标识字段值。3.如权利要求1所述的数据同步方法，所述全量数据的至少一条数据记录中不包括标识字段，所述标识字段用于标识所述全量数据中的多条数据记录；其中，在获取所述全量数据中多条数据记录对应的多个第一标识值之前，所述数据同步方法还包括：基于所述全量数据中每条数据记录的关键属性信息，按照预设算法确定所述多个第一标识值，一条数据记录的关键属性信息用于确定是否与其他数据记录相同。4.如权利要求3所述的数据同步方法，基于所述全量数据中每条数据记录的关键属性信息，按照预设算法确定所述多个第一标识值，包括：基于所述全量数据中每条数据记录的关键属性信息，按照MD5算法确定所述全量数据中每条数据记录的MD5值；基于所述全量数据中每条数据记录的MD5值，确定所述全量数据中每条数据记录的第一标识值。5.如权利要求4所述的数据同步方法，基于所述全量数据中每条数据记录的MD5值，确定所述全量数据中每条数据记录的第一标识值，包括：针对所述全量数据中的一条第一数据记录，执行以下操作：判断所述全量数据中是否存在第二数据记录，所述第二数据记录的MD5值与所述第一数据记录的MD5值相同；若是，则对所述第一数据记录以及所述第二数据记录各自的MD5值进行预设处理，得到互不相同的处理结果；将所述第一数据记录的MD5值对应的处理结果确定为所述第一数据记录对应的第一标识值；若否，则将所述第一数据记录的MD5值确定为所述第一数据记录对应的第一标识值。6.如权利要求5所述的数据同步方法，对所述第一数据记录以及所述第二数据记录各自的MD5值进行预设处理，包括：在所述第一数据记录以及所述第二数据记录各自的MD5值中拼接不同的预设字符。7.如权...

【专利技术属性】
技术研发人员：杨舒雅，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY