数据同步方法、装置、电子设备及存储介质制造方法及图纸

本申请提出了一种数据同步方法、装置、电子设备及存储介质，其中，方法包括：确定源表中的待处理数据，其中，待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；确定至少一个行数据中的重复行数据，其中，重复行数据存在于源表的历史同步数据中；删除待处理数据中的重复行数据，得到待同步数据；将待同步数据同步至目的表中，从而解决数据同步时数据重复的问题，提高数据同步效率。提高数据同步效率。提高数据同步效率。

【技术实现步骤摘要】
数据同步方法、装置、电子设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据同步方法、装置、电子设备及存储介质。

技术介绍

[0002]相关技术中，基于源表对目的表进行数据同步时，是将源表中保存时间的字段作为增量数据的查询条件，基于该查询条件查询源表中的增量数据，并基于增量数据实现对目的表的数据同步。上述技术方案中，可能会出现数据重复的问题，导致同步后源表与目的表的数据不一致，数据同步效率差。

技术实现思路

[0003]本申请的目的旨在至少在一定程度上解决上述技术问题之一。
[0004]为此，本申请提出了一种数据同步方法、装置、电子设备及存储介质，通过确定源表中的待处理数据，确定至少一个行数据中的重复行数据，删除待处理数据中的重复行数据，得到待同步数据，将待同步数据同步至目的表中，解决现有技术方案中数据同步时数据重复的问题，提高数据同步效率。
[0005]本申请第一方面实施例提出了一种数据同步方法，包括：
[0006]确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；
[0007]确定所述至少一个行数据中的重复行数据，其中，所述重复行数据存在于所述源表的历史同步数据中；
[0008]删除所述待处理数据中的所述重复行数据，得到待同步数据；
[0009]将所述待同步数据同步至目的表中。
[0010]可选地，所述确定源表中的待处理数据，包括：
[0011]确定所述源表的最大历史同步时间戳以及最大时间戳；
[0012]以所述最大历史同步时间戳为起始时间戳，以所述最大时间戳为终止时间戳，确定所述同步时间段；
[0013]抽取所述源表中对应的时间戳位于所述同步时间段内的行数据，得到所述待处理数据。
[0014]可选地，所述确定所述源表的最大历史同步时间戳以及最大时间戳，包括：
[0015]确定所述源表的最大时间戳；
[0016]获取存储的所述最大历史同步时间戳；或者，在未存储所述最大历史同步时间戳时，将用户配置的同步时间戳或者预设的同步时间戳确定为所述最大历史同步时间戳。
[0017]可选地，所述确定所述至少一个行数据中的重复行数据，包括：
[0018]确定所述至少一个行数据中的候选行数据，其中，所述候选行数据的时间戳与所述同步时间段的起始时间戳一致；
[0019]确定所述历史同步数据中的参考行数据，其中，所述参考行数据的时间戳与所述起始时间戳一致；
[0020]对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据。
[0021]可选地，所述源表的行数据中设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：
[0022]对所述候选行数据的主键字段和所述参考行数据的主键字段进行比对处理，确定所述候选行数据和所述参考行数据中相同的主键字段；
[0023]将所述相同的主键字段对应的候选行数据确定为所述重复行数据。
[0024]可选地，所述源表的行数据中未设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：
[0025]提取所述候选行数据的摘要信息以及所述参考行数据的摘要信息；
[0026]对所述候选行数据的摘要信息和所述参考行数据的摘要信息进行比对处理，确定相同的摘要信息，以及所述相同的摘要信息的数量；
[0027]将具有所述相同的摘要信息的所述数量个候选行数据确定为所述重复行数据。
[0028]可选地，在将所述待同步数据同步至目的表中之后，所述方法还包括：
[0029]采用所述同步时间段中的所述终止时间戳，对存储的最大历史同步时间戳进行更新处理；或者，在未存储有最大历史同步时间戳时，将所述终止时间戳作为最大历史同步时间戳进行存储。
[0030]本申请实施例的数据同步方法，通过确定源表中的待处理数据，其中，待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；确定至少一个行数据中的重复行数据，其中，重复行数据存在于源表的历史同步数据中；删除待处理数据中的重复行数据，得到待同步数据；将待同步数据同步至目的表中，从而解决数据同步时数据重复的问题，提高数据同步效率。
[0031]本申请第二方面实施例提出了一种数据同步装置，包括：
[0032]第一确定模块，用于确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；
[0033]第二确定模块，用于确定所述至少一个行数据中的重复行数据，其中，所述重复行数据存在于所述源表的历史同步数据中；
[0034]处理模块，用于删除所述待处理数据中的所述重复行数据，得到待同步数据；
[0035]同步模块，用于将所述待同步数据同步至目的表中。
[0036]可选地，所述第一确定模块具体用于，
[0037]确定所述源表的最大历史同步时间戳以及最大时间戳；
[0038]以所述最大历史同步时间戳为起始时间戳，以所述最大时间戳为终止时间戳，确定所述同步时间段；
[0039]抽取所述源表中对应的时间戳位于所述同步时间段内的行数据，得到所述待处理数据。
[0040]可选地，所述第一确定模块具体用于，
[0041]确定所述源表的最大时间戳；
[0042]获取存储的所述最大历史同步时间戳；或者，在未存储所述最大历史同步时间戳时，将用户配置的同步时间戳或者预设的同步时间戳确定为所述最大历史同步时间戳。
[0043]可选地，所述第二确定模块具体用于，
[0044]确定所述至少一个行数据中的候选行数据，其中，所述候选行数据的时间戳与所述同步时间段的起始时间戳一致；
[0045]确定所述历史同步数据中的参考行数据，其中，所述参考行数据的时间戳与所述起始时间戳一致；
[0046]对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据。
[0047]可选地，所述源表的行数据中设置有主键字段，所述第二确定模块具体用于，
[0048]对所述候选行数据的主键字段和所述参考行数据的主键字段进行比对处理，确定所述候选行数据和所述参考行数据中相同的主键字段；
[0049]将所述相同的主键字段对应的候选行数据确定为所述重复行数据。
[0050]可选地，所述源表的行数据中未设置有主键字段，所述第二确定模块具体用于，
[0051]提取所述候选行数据的摘要信息以及所述参考行数据的摘要信息；
[0052]对所述候选行数据的摘要信息和所述参考行数据的摘要信息进行比对处理，确定相同的摘要信息，以及所述相同的摘要信息的数量；
[0053]将具有所述相同的摘要信息的所述数量个候选行数据确定为所述重复行数据。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，包括：确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时间段内的至少一个行数据；确定所述至少一个行数据中的重复行数据，其中，所述重复行数据存在于所述源表的历史同步数据中；删除所述待处理数据中的所述重复行数据，得到待同步数据；将所述待同步数据同步至目的表中。2.根据权利要求1所述的数据同步方法，其特征在于，所述确定源表中的待处理数据，包括：确定所述源表的最大历史同步时间戳以及最大时间戳；以所述最大历史同步时间戳为起始时间戳，以所述最大时间戳为终止时间戳，确定所述同步时间段；抽取所述源表中对应的时间戳位于所述同步时间段内的行数据，得到所述待处理数据。3.根据权利要求2所述的数据同步方法，其特征在于，所述确定所述源表的最大历史同步时间戳以及最大时间戳，包括：确定所述源表的最大时间戳；获取存储的所述最大历史同步时间戳；或者，在未存储所述最大历史同步时间戳时，将用户配置的同步时间戳或者预设的同步时间戳确定为所述最大历史同步时间戳。4.根据权利要求1所述的数据同步方法，其特征在于，所述确定所述至少一个行数据中的重复行数据，包括：确定所述至少一个行数据中的候选行数据，其中，所述候选行数据的时间戳与所述同步时间段的起始时间戳一致；确定所述历史同步数据中的参考行数据，其中，所述参考行数据的时间戳与所述起始时间戳一致；对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据。5.根据权利要求4所述的数据同步方法，其特征在于，所述源表的行数据中设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：对所述候选行数据的主键字段和所述参考行数据的主键字段进行比对处理，确定所述候选行数据和所述参考行数据中相同的主键字段；将所述相同的主键字段对应的候选行数据确定为所述重复行数据。6.根据权利要求4所述的数据同步方法，其特征在于，所述源表的行数据中未设置有主键字段，所述对所述候选行数据和所述参考行数据进行比对处理，确定所述候选行数据中的所述重复行数据，包括：提取所述候选行数据的摘要信息以及所述参考行数据的摘要信息；对所述候选行数据的摘要信息和所述参考行数据的摘要信息进行比对处理，确定相同的摘要信息，以及所述相同的摘要信息的数量；
将具有所述相同的摘要信息的所述数量个候选行数据确定为所述重复行数据。7.根据权利要求2所述的数据同步方法，其特征在于，在将所述待同步数据同步至目的表中之后，所述方法还包括：采用所述同步时间段中的所述终止时间戳，对存储的最大历史同步时间戳进行更新处理；或者，在未存储有最大历史同步时间戳时，将所述终止时间戳作为最大历史同步时间戳进行存储。8.一种数据同步装置，其特征在于，包括：第一确定模块，用于确定源表中的待处理数据，其中，所述待处理数据包括对应的时间戳位于同步时...

【专利技术属性】
技术研发人员：刘宇霆，周鹏程，褚占峰，何华峰，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：