增量数据实时比对修复方法技术

本发明专利技术实施例公开了增量数据实时比对修复方法

【技术实现步骤摘要】
增量数据实时比对修复方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据修复方法，更具体地说是指增量数据实时比对修复方法
、
装置
、
计算机设备及存储介质
。

技术介绍

[0002]目前的实时数据同步领域，由于数据库日志过期机制或者挖掘日志异常，采集位点丢失等情况，采集的增量数据会偶发出现数据丢失的场景；或者因为一些人为因素导致目标部分数据被误操作，快速有效的比对修复数据是整个数据同步领域需要面对的难题
。
[0003]在当下所有的数据修复方法中，都是对全量或者某区间范围数据进行源库和目标数据库比对，发现存在总量或者内容差异后，暂停当前实时同步任务后进行差异化修复
。
该修复方案存在的一个问题在于，当前同步任务会被暂停，整个同步过程发生不可控的时效性问题；如果不暂停会导致目标数据库发生并发写场景，可能出现目标数据库数据的不一致最终修复失败，这是非常致命的问题
。
[0004]因此，有必要设计一种新的方法，实现在不暂停实时同步任务的场景下，完成整个数据的修复工作，以达到同步和修复同时进行的目的
。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺陷，提供增量数据实时比对修复方法
、
装置
、
计算机设备及存储介质
。
[0006]为实现上述目的，本专利技术采用以下技术方案：增量数据实时比对修复方法，包括：
[0007]配置增量实时修复计划；
[0008]根据所述增量实时修复计划获取源数据库表格修复时间窗口内的增量数据快照信息；
[0009]解析当前
CDC
增量数据日志信息，以获取增量数据所在数据库的事务日志位点；
[0010]对所述事务日志位点和所述增量数据快照信息的时间窗口范围进行比较，并确定比对数据集合；
[0011]对所述比对数据集合和目标数据库数据进行比较，以得到修复数据集合；
[0012]对所述修复数据集合进行数据实时修复
。
[0013]其进一步技术方案为：所述增量实时修复计划包括需要修复的源数据库连接信息
、
源数据库相应表格名称
、
开始修复的时间节点
、
每次修复的时间窗口大小以及每次修复的增量数据快照大小
。
[0014]其进一步技术方案为：所述根据所述增量实时修复计划获取源数据库表格修复时间窗口内的增量数据快照信息，包括：
[0015]根据每次修复的增量数据快照大小查询当前的修复时间窗口需修复的增量数据快照信息，并存放在本地内存中
。
[0016]其进一步技术方案为：所述解析当前
CDC
增量数据日志信息，以获取增量数据所在
数据库的事务日志位点，包括：
[0017]解析当前
CDC
增量数据日志信息，以获取增量数据所在数据库的事务日志位点；每种数据库数据变更记录都会落磁盘并且有唯一位点记录该变更作为标识，该记录变更位点表达为日志事务位点
。
[0018]其进一步技术方案为：所述对所述事务日志位点和所述增量数据快照信息的时间窗口范围进行比较，并确定比对数据集合，包括：
[0019]根据所述事务日志位点和所述增量数据快照信息进行比较，以判断所述事务日志位点是否在所述增量数据快照信息的时间窗口范围内；
[0020]若所述事务日志位点在所述增量数据快照信息的时间窗口范围内，则对所述增量数据快照信息进行主键或者唯一键过滤，将重复数据从所述增量数据快照信息中删除；
[0021]若所述事务日志位点不在所述增量数据快照信息的时间窗口范围内，则判断所述事务日志位点是否小于所述增量数据快照信息的时间窗口范围中的快照起始位点；
[0022]若所述事务日志位点小于所述增量数据快照信息的时间窗口范围中的快照起始位点，则将所述实时增量数据进行正常数据同步；
[0023]若所述事务日志位点大于所述增量数据快照信息的时间窗口范围中的快照起始位点，则记录所述增量数据快照信息中剩余数据，以得到比对数据集合
。
[0024]其进一步技术方案为：所述对所述比对数据集合和目标数据库数据进行比较，以得到修复数据集合，包括：
[0025]根据所述比对数据集合从所述目标数据库中查询对应的数据，以得到查询结果；
[0026]对所述查询结果以及所述比对数据集合的每一行分别进行数据
hash
，以得到每一行的两个数据指纹；
[0027]比较每一行的两个数据指纹，确定数据指纹不一致的行对应的数据，以得到修复数据集合
。
[0028]其进一步技术方案为：所述对所述修复数据集合进行数据实时修复，包括：
[0029]将所述修复数据集合写入到目标数据库，进行实时修复工作，以得到修复结果；
[0030]根据所述修复结果更新修复时间节点
。
[0031]本专利技术还提供了增量数据实时比对修复装置，包括：
[0032]计划配置单元，用于配置增量实时修复计划；
[0033]信息获取单元，用于根据所述增量实时修复计划获取源数据库表格修复时间窗口内的增量数据快照信息；
[0034]解析单元，用于解析当前
CDC
增量数据日志信息，以获取增量数据所在数据库的事务日志位点；
[0035]第一比较单元，用于对所述事务日志位点和所述增量数据快照信息的时间窗口范围进行比较，并确定比对数据集合；
[0036]第二比较单元，用于对所述比对数据集合和目标数据库数据进行比较，以得到修复数据集合；
[0037]实时修复单元，用于对所述修复数据集合进行数据实时修复
。
[0038]本专利技术还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法
。
[0039]本专利技术还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法
。
[0040]本专利技术与现有技术相比的有益效果是：本专利技术通过配置增量实时修复计划，获取修复时间窗口内增量数据快照信息，可在保证数据有顺同步的同时，对增量数据进行实时比对和修复工作，实现在不暂停实时同步任务的场景下，完成整个数据的修复工作，以达到同步和修复同时进行的目的，在增量数据实时同步的同时保障数据准确性
。
[0041]下面结合附图和具体实施例对本专利技术作进一步描述
。
附图说明
[0042]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
增量数据实时比对修复方法，其特征在于，包括：配置增量实时修复计划；根据所述增量实时修复计划获取源数据库表格修复时间窗口内的增量数据快照信息；解析当前
CDC
增量数据日志信息，以获取增量数据所在数据库的事务日志位点；对所述事务日志位点和所述增量数据快照信息的时间窗口范围进行比较，并确定比对数据集合；对所述比对数据集合和目标数据库数据进行比较，以得到修复数据集合；对所述修复数据集合进行数据实时修复
。2.
根据权利要求1所述的增量数据实时比对修复方法，其特征在于，所述增量实时修复计划包括需要修复的源数据库连接信息
、
源数据库相应表格名称
、
开始修复的时间节点
、
每次修复的时间窗口大小以及每次修复的增量数据快照大小
。3.
根据权利要求2所述的增量数据实时比对修复方法，其特征在于，所述根据所述增量实时修复计划获取源数据库表格修复时间窗口内的增量数据快照信息，包括：根据每次修复的增量数据快照大小查询当前的修复时间窗口需修复的增量数据快照信息，并存放在本地内存中
。4.
根据权利要求2所述的增量数据实时比对修复方法，其特征在于，所述解析当前
CDC
增量数据日志信息，以获取增量数据所在数据库的事务日志位点，包括：解析当前
CDC
增量数据日志信息，以获取增量数据所在数据库的事务日志位点
。5.
根据权利要求4所述的增量数据实时比对修复方法，其特征在于，所述对所述事务日志位点和所述增量数据快照信息的时间窗口范围进行比较，并确定比对数据集合，包括：根据所述事务日志位点和所述增量数据快照信息进行比较，以判断所述事务日志位点是否在所述增量数据快照信息的时间窗口范围内；若所述事务日志位点在所述增量数据快照信息的时间窗口范围内，则对所述增量数据快照信息进行主键或者唯一键过滤，将重复数据从所述增量数据快照信息中删除，以得到比对数据集合；若所述事务日志位点不在所述增量数据快照信息的时间窗口范围内，则判断所述事务日志位点是否小于所述增量数据快照信息的时...

【专利技术属性】
技术研发人员：柳遵梁，肖斌，闻建霞，汤国胜，张浩，
申请(专利权)人：杭州美创科技股份有限公司，
类型：发明
国别省市：