校验方法、装置、服务器及存储介质制造方法及图纸

本公开是关于校验方法、装置、服务器及存储介质，该方法包括：获取第一数据表中的与第一时间段相关的第一数据集，其中，第一数据表中的数据是通过中间件同步方式从源数据表发送至第一数据表中的；获取源数据表中数据存储时间在第二时间段内的第二数据集，其中第二时间段在第一时间段的时间范围内；当第一数据集包括第二数据集时，生成指示未出现数据同步异常情况的校验结果，当存在至少一个出现在所述第二数据集中但未出现在第一数据集中的差异数据时，生成指示出现数据同步异常情况的校验结果。结果。结果。

【技术实现步骤摘要】
校验方法、装置、服务器及存储介质


[0001]本公开涉及互联网领域，具体涉及校验方法、装置、服务器及存储介质。

技术介绍

[0002]在不同的两个数据表之间进行数据同步是相关系统的维护过程中经常需要进行的操作。例如，在大数据系统中，收集到的数据通常存储在OLTP(On
‑
Line Transaction Processing，联机事物处理过程)类型的数据库中的源数据表中，同时，对于诸如大数据查询服务的相关服务而言，OLAP(Online Analytical Processing，联机分析处理)类型的数据库的读写数据的性能更高，因此，经常需要将源数据表中的数据同步至OLAP类型的数据库中的目标数据表中。
[0003]由于需要同步的数据量大，通常通过中间件同步方式，每一次将源数据表中的需要同步的全部数据中的一部分发送至目标数据表中。
[0004]若由于某种原因，导致应该发送至目标数据表中的一些数据没有发送至目标数据表中，则当通过中间件同步方式进行数据同步时出现数据同步异常情况。目前，缺乏在不同的数据表之间通过中间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种校验方法，其特征在于，所述方法包括：获取第一数据表中的与第一时间段相关的第一数据集，其中，所述第一数据表中的数据是通过中间件同步方式从源数据表发送至所述第一数据表中的；获取所述源数据表中数据存储时间在第二时间段内的第二数据集，其中所述第二时间段在所述第一时间段的时间范围内；当所述第一数据集包括所述第二数据集时，生成指示未出现数据同步异常情况的校验结果，当存在至少一个出现在所述第二数据集中但未出现在所述第一数据集中的差异数据时，生成指示出现数据同步异常情况的校验结果。2.根据权利要求1所述的方法，其特征在于，在获取第一数据表中的与第一时间段相关的第一数据集之前，所述方法还包括：获取候选数据表中在每个统计时间段内的操作次数数据；基于所述候选数据表的操作次数数据，确定所述候选数据表是否作为所述源数据表。3.根据权利要求2所述的方法，基于所述候选数据表的操作次数数据，确定所述候选数据表是否作为所述源数据表包括：当所述候选数据表在每一个统计时间段内均被进行数据存储操作时，将所述候选数据表作为所述源数据表。4.根据权利要求1所述的方法，其特征在于，获取所述源数据表中数据存储时间在第二时间段内的第二数据集包括：向所述源数据表所属的数据库发送同步指令，以由所述源数据表所属的数据库从所述源数据表中查找出所述第二数据集并且将所述第二数据集发送至第二数据表，其中，所述同步指令包括：所述第二时间段的开始时刻、所述第二时间段的结束时刻，所述源数据表所属的数据库基于所述开始时刻和所述结束时刻，确定所述第二时间段并且从所述源数据表中查找出数据存储时间在所述第二时间段内的数据，以查找出所述第二数据集；从所述第二数据表中获取所述第...

【专利技术属性】
技术研发人员：刘安浩，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：