System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据校验方法、装置、设备、介质和计算机程序产品制造方法及图纸_技高网

数据校验方法、装置、设备、介质和计算机程序产品制造方法及图纸

技术编号:40536874 阅读:7 留言:0更新日期:2024-03-01 13:59
本发明专利技术提供一种数据校验方法、装置、设备、介质和计算机程序产品,该方法包括:获取源端数据库对应的目标文件,所述目标文件包括所述源端数据库中同步至目标端数据库的各个第一数据的第一标识;在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识;根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据,作为第二数据;确定所述第二数据在所述目标端数据库所对应的数据以作为第三数据,并比对所述第二数据与所述第三数据是否一致。本申请中,提高了数据校验效率。

【技术实现步骤摘要】

本专利技术涉及数据校验,尤其涉及一种数据校验方法、装置、设备、介质和计算机程序产品


技术介绍

1、在源端数据库的数据同步至目标端数据库时,需要将同步至目标端数据库中的数据与源端数据库的数据进行比对,以确认数据是否同步正确。

2、示例性技术中,在对比目标端数据库的数据与源端数据库的数据时,会将目标端数据库的所有数据进行比对。

3、目标端数据库中的数据较多,已有的数据也需要进行比对,导致新入库的数据所需校验耗时过长,数据校验效率较低。


技术实现思路

1、本专利技术提供一种数据校验方法、装置、设备、介质和计算机程序产品,用以解决数据校验效率较低的问题。

2、一方面,本专利技术提供一种数据校验方法,包括:

3、获取源端数据库对应的目标文件,所述目标文件包括所述源端数据库中同步至目标端数据库的各个第一数据的第一标识;

4、在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识;

5、根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据,作为第二数据;

6、确定所述第二数据在所述目标端数据库所对应的数据以作为第三数据,并比对所述第二数据与所述第三数据是否一致。

7、在一实施例中,所述根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据的步骤包括:

8、在所述同步规则为按照序号从小到大进行同步时,在各个所述第一标识中确定小于或等于第二标识的第一标识,作为第一目标序号,所述第一标识以及所述第二标识均为序号;

9、将所述第一目标序号对应的第一数据,确定为已同步至所述目标端数据库的第一数据。

10、在一实施例中,所述根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据的步骤包括:

11、在所述同步规则为按照序号从大到小进行同步时,在各个所述第一标识中确定大于或等于第二标识的第一标识,作为目标序号,所述第一标识以及所述第二标识均为序号;

12、将所述第二目标序号对应的第一数据,确定为已同步至所述目标端数据库的第一数据。

13、在一实施例中,所述在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识的步骤包括:

14、根据所述目标文件确定目标参数,所述目标参数包括校验间隔时长、已同步至所述目标端数据库的第一数据的总数据量或已同步至所述目标端数据库的第一数据的数量;

15、在所述目标参数达到预设阈值时,在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识。

16、在一实施例中,所述获取源端数据库对应的目标文件的步骤之前,还包括:

17、接收所述源端数据库发送的所述第一标识,并将所述第一标识以及接收所述第一标识的时间点关联的存储于设定文件内;

18、获取校验任务,并根据所述校验任务获取起始时间点;

19、在设定文件中,获取位于所述起始时间点之后所接收的各个第一标识,以构建所述目标文件。

20、在一实施例中,所述确定所述第二数据在所述目标端数据库所对应的数据以作为第三数据的步骤包括:

21、获取所述第二数据的主键值;

22、在所述目标端数据库中获取所述主键值对应的数据作为第三数据。

23、另一方面,本专利技术还提供一种数据校验装置,包括:

24、第一获取模块,用于获取源端数据库对应的目标文件,所述目标文件包括所述源端数据库中同步至目标端数据库的各个第一数据的第一标识;

25、第二获取模块,用于在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识;

26、第一确定模块,用于根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据,作为第二数据;

27、第二确定模块,用于确定所述第二数据在所述目标端数据库所对应的数据以作为第三数据,并比对所述第二数据与所述第三数据是否一致。

28、另一方面,本专利技术还提供一种数据校验设备,包括:存储器和处理器;

29、所述存储器存储计算机执行指令;

30、所述处理器执行存储器存储的计算机执行指令,使得数据校验设备执行如上所述的数据校验方法。

31、另一方面,本专利技术还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如上所述的数据校验方法。

32、另一方面,本专利技术还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上所述的数据校验方法。

33、本专利技术提供的数据校验方法、装置、设备、介质和计算机程序产品,获取源端数据库对应的目标文件,并在目标端数据库中获取当前同步至目标端数据库中的数据对应的第二标识,基于各个第一数据同步至目标端数据库的同步规则、第二标识以及同步至目标端数据库的各个第一数据的第一标识,确定已同步至目标端数据库的第一数据作为第二数据,再确定第二数据在目标端数据库对应的第一数据作为第三数据,从而比对第二数据与第三数据是否一致。本申请中,通过同步至目标端数据库的各个数据的标识、数据的同步规则以及当前同步至目标端数据库的数据的标识,即可确定已同步目标端数据库的数据,无需在目标端数据库的所有数据中查找需要比对的数据,也即仅比对同步至目标端数据库的数据,对目标端数据库中的已有数据不进行比对,减少了数据校验时长,提高了数据校验效率。

本文档来自技高网...

【技术保护点】

1.一种数据校验方法,其特征在于,包括:

2.根据权利要求1所述的数据校验方法,其特征在于,所述根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据的步骤包括:

3.根据权利要求1所述的数据校验方法,其特征在于,所述根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据的步骤包括:

4.根据权利要求1所述的数据校验方法,其特征在于,所述在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识的步骤包括:

5.根据权利要求1所述的数据校验方法,其特征在于,所述获取源端数据库对应的目标文件的步骤之前,还包括:

6.根据权利要求1-5中任一项所述的数据校验方法,其特征在于,所述确定所述第二数据在所述目标端数据库所对应的数据以作为第三数据的步骤包括:

7.一种数据校验装置,其特征在于,包括:

8.一种数据校验设备,其特征在于,包括:存储器和处理器;

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的数据校验方法。

10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至6任一项所述的数据校验方法。

...

【技术特征摘要】

1.一种数据校验方法,其特征在于,包括:

2.根据权利要求1所述的数据校验方法,其特征在于,所述根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据的步骤包括:

3.根据权利要求1所述的数据校验方法,其特征在于,所述根据各个所述第一数据同步至所述目标端数据库的同步规则、所述第二标识以及所述目标文件中的各个第一标识,确定已同步至所述目标端数据库的第一数据的步骤包括:

4.根据权利要求1所述的数据校验方法,其特征在于,所述在所述目标端数据库中,获取当前同步至所述目标端数据库中的数据对应的第二标识的步骤包括:

5.根据权利要求1所述的数据校...

【专利技术属性】
技术研发人员:庞晖王凯龙
申请(专利权)人:北京人大金仓信息技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1