数据校验方法、装置、存储介质以及电子设备制造方法及图纸

本申请公开了一种数据校验方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括：获取用户进行金融交易时生成的待校验数据表，获取待校验数据表的属性信息，并从数据库中获取与属性信息相同的标准数据表；采用预设加密算法将待校验数据表中的数据进行压缩加密，得到第一加密数据集合；采用预设加密算法将标准数据表中的数据进行压缩加密，得到第二加密数据集合；将第一加密数据集合和第二加密数据集合进行对比，得到对比结果，并根据对比结果确定待校验数据表的校验结果。通过本申请，解决了相关技术中采用数据对比的方法确定数据是否存在异常的耗时长、效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
数据校验方法、装置、存储介质以及电子设备


[0001]本申请涉及大数据领域，具体而言，涉及一种数据校验方法、装置、存储介质以及电子设备。

技术介绍

[0002]随着金融机构的业务量的不断增大，产生的业务数据也不断增多，系统间的数据同步流程也较为复杂，进而导致数据同步过程中出现错误。因此，在确定数据同步后是否存在异常同步数据的时候，通常采用的方法为将被同步的数据进行比对，在数据完全一致的情况下，确定数据同步无异常。
[0003]但是，随着业务内容逐渐繁琐复杂，每个业务产生的数据量也呈指数型提升，由于业务数据量十分庞大，因此在对数据进行对比的时候，会耗费大量的数据对比时间以及对比时耗费的设备运行内存，进而导致数据对比效率的降低和运行成本的提高。
[0004]针对相关技术中采用数据对比的方法确定数据是否存在异常的耗时长、效率低的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请提供一种数据校验方法、装置、存储介质以及电子设备，以解决相关技术中采用数据对比的方法确定数据是否存在异常的耗时长、效率低的问题。
[0006]根据本申请的一个方面，提供了一种数据校验方法。该方法包括：获取用户进行金融交易时生成的待校验数据表，获取待校验数据表的属性信息，并从数据库中获取与属性信息相同的标准数据表，其中，待校验数据表中包括用户进行金融交易时产生的交易数据；采用预设加密算法将待校验数据表中的数据进行压缩加密，得到第一加密数据集合；采用预设加密算法将标准数据表中的数据进行压缩加密，得到第二加密数据集合；将第一加密数据集合和第二加密数据集合进行对比，得到对比结果，并根据对比结果确定待校验数据表的校验结果。
[0007]可选地，在获取与属性信息相同的标准数据表之后，该方法还包括：获取待校验数据表中的数据量，得到第一数据量，并获取标准数据表中的数据量，得到第二数据量；判断第一数据量与第二数据量是否相同；在第一数据量与第二数据量相同的情况下，获取待校验数据表中的行数，得到第一数据行数，并获取标准数据表中的行数，得到第二数据行数；判断第一数据行数与第二数据行数是否相同；在第一数据行数与第二数据行数相同的情况下，确定标准数据表与待校验数据表均无异常，并执行采用预设加密算法将待校验数据表中的数据进行压缩加密，得到第一加密数据集合的步骤。
[0008]可选地，在判断第一数据量与第二数据量是否相同之后，该方法还包括：在第一数据量与第二数据量不相同的情况下，将待校验数据表按照预设拆分要求进行拆分，得到第一数据表集合，其中，第一数据表集合中包括M个第一子表，每个第一子表关联有第一位置信息，第一位置信息是指第一子表在待校验数据表中的位置信息；将标准数据表按照预设
拆分要求进行拆分，得到第二数据表集合，其中，第二数据表集合中包括M个第二子表，每个第二子表关联有第二位置信息，第二位置信息是指第二子表在标准数据表中的位置信息；依次将第一位置信息与第二位置信息相同的第一子表和第二子表进行数据量对比，得到M个对比结果；从M个对比结果中获取异常对比结果，并确定异常对比结果指示的第一子表，得到目标子表，其中，异常对比结果指示第一子表与第二子表不同；确定目标子表中的数据的获取时间，并根据获取时间重新在业务系统中获取目标子表中的数据。
[0009]可选地，将第一加密数据集合和第二加密数据集合进行对比，得到对比结果包括：确定第一加密数据集合的数据量，得到第三数据量，并判断第三数据量是否大于预设数据量；在第三数据量小于等于预设数据量的情况下，将第一加密数据集合与第二加密数据集合进行对比，得到对比结果；在第三数据量大于预设数据量的情况下，将通过预设加密算法分别将第一加密数据集合与第二加密数据集合进行压缩加密，得到第三加密数据集合和第四加密数据集合，并对第三加密数据集合和第四加密数据集合进行对比，得到对比结果，其中，第三加密数据集合和第四加密数据集合的数据量均小于预设数据量。
[0010]可选地，将第一加密数据集合与第二加密数据集合进行对比，得到对比结果包括：判断第一加密数据集合与第二加密数据集合是否相同；在第一加密数据集合与第二加密数据集合相同的情况下，确定待校验数据表校验通过；在第一加密数据集合与第二加密数据集合不相同的情况下，确定待校验数据表存在异常，并确定第一加密数据集合中与第二加密数据集合不相同的加密数据，得到目标加密数据；在待校验数据表中确定目标加密数据的原始数据，并根据原始数据的行数在标准数据表中确定与原始数据的行数相同的标准数据；将原始数据与标准数据进行对比，得到对比结果，并根据对比结果确定待校验数据表的异常原因。
[0011]可选地，根据对比结果确定待校验数据表的异常原因包括：在对比结果表征原始数据与标准数据相同的情况下，确定待校验数据表的异常原因为数据加密异常，并对待校验数据表和标准数据表重新进行加密；在对比结果表征原始数据与标准数据不相同的情况下，确定待校验数据表的异常原因为待校验数据表中的数据存在异常，并重新从业务系统中获取待校验数据表。
[0012]可选地，在采用预设加密算法将待校验数据表中的数据进行压缩加密，得到第一加密数据集合之后，该方法还包括：判断第一加密数据集合中的多个第一加密数据之间是否存在相同的加密数据；在存在相同的加密数据的情况下，获取相同的加密数据对应的待确认数据，并对待确认数据执行加密操作，直至多个第一加密数据之间不存在相同的加密数据，其中，加密操作包括：采用预设加密算法重新对待确认数据进行加密，得到更新后的加密数据，并将更新后的加密数据添加至第一加密数据集合中，得到更新后的第一加密数据集合。
[0013]可选地，预设加密算法为MD5加密算法。
[0014]根据本申请的另一方面，提供了一种数据校验装置。该装置包括：第一获取单元，用于获取用户进行金融交易时生成的待校验数据表，获取待校验数据表的属性信息，并从数据库中获取与属性信息相同的标准数据表，其中，待校验数据表中包括用户进行金融交易时产生的交易数据；第一加密单元，用于采用预设加密算法将待校验数据表中的数据进行压缩加密，得到第一加密数据集合；第二加密单元，用于采用预设加密算法将标准数据表
中的数据进行压缩加密，得到第二加密数据集合；第一对比单元，用于将第一加密数据集合和第二加密数据集合进行对比，得到对比结果，并根据对比结果确定待校验数据表的校验结果。
[0015]根据本专利技术的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据校验方法。
[0016]根据本专利技术的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据校验方法。
[0017]通过本申请，采用以下步骤：获取用户进行金融交易时生成的待校验数据表，获取待校验数据表的属性信息，并从数据库中获取与属性信息相同的标准数据表，其中，待校验数据表中包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据校验方法，其特征在于，包括：获取用户进行金融交易时生成的待校验数据表，获取所述待校验数据表的属性信息，并从数据库中获取与所述属性信息相同的标准数据表，其中，所述待校验数据表中包括所述用户进行金融交易时产生的交易数据；采用预设加密算法将所述待校验数据表中的数据进行压缩加密，得到第一加密数据集合；采用所述预设加密算法将所述标准数据表中的数据进行压缩加密，得到第二加密数据集合；将所述第一加密数据集合和所述第二加密数据集合进行对比，得到对比结果，并根据所述对比结果确定所述待校验数据表的校验结果。2.根据权利要求1所述的方法，其特征在于，在获取与所述属性信息相同的标准数据表之后，所述方法还包括：获取所述待校验数据表中的数据量，得到第一数据量，并获取所述标准数据表中的数据量，得到第二数据量；判断所述第一数据量与所述第二数据量是否相同；在所述第一数据量与所述第二数据量相同的情况下，获取所述待校验数据表中的行数，得到第一数据行数，并获取所述标准数据表中的行数，得到第二数据行数；判断所述第一数据行数与所述第二数据行数是否相同；在所述第一数据行数与所述第二数据行数相同的情况下，确定所述标准数据表与所述待校验数据表均无异常，并执行所述采用预设加密算法将所述待校验数据表中的数据进行压缩加密，得到第一加密数据集合的步骤。3.根据权利要求2所述的方法，其特征在于，在判断所述第一数据量与所述第二数据量是否相同之后，所述方法还包括：在所述第一数据量与所述第二数据量不相同的情况下，将所述待校验数据表按照预设拆分要求进行拆分，得到第一数据表集合，其中，所述第一数据表集合中包括M个第一子表，每个第一子表关联有第一位置信息，所述第一位置信息是指所述第一子表在所述待校验数据表中的位置信息；将所述标准数据表按照预设拆分要求进行拆分，得到第二数据表集合，其中，所述第二数据表集合中包括M个第二子表，每个第二子表关联有第二位置信息，所述第二位置信息是指所述第二子表在所述标准数据表中的位置信息；依次将第一位置信息与第二位置信息相同的第一子表和第二子表进行数据量对比，得到M个对比结果；从所述M个对比结果中获取异常对比结果，并确定所述异常对比结果指示的第一子表，得到目标子表，其中，所述异常对比结果指示第一子表与第二子表不同；确定所述目标子表中的数据的获取时间，并根据所述获取时间重新在业务系统中获取所述目标子表中的数据。4.根据权利要求1所述的方法，其特征在于，将所述第一加密数据集合和所述第二加密数据集合进行对比，得到对比结果包括：确定所述第一加密数据集合的数据量，得到第三数据量，并判断所述第三数据量是否
大于预设数据量；在所述第三数据量小于等于所述预设数据量的情况下，将所述第一加密数据集合与所述第二加密数据集合进行对比，得到所述对比结果；在所述第三数据量大于所述预设数据量的情况下，将通过所述预设加密算法分别将所述第一加密数据集合与所述第二加密数据集合进行压缩加密，得到第三加密数据集合和第四加密数据集合，并对所述第三加密数据集合和所述第四加密数据集合进行对比，得到所述对比结果，其中，所述第三加密数据集合和所述第四加密数据集合的数据量均小于所述预设数据量。5.根据权利要求...

【专利技术属性】
技术研发人员：周茜，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：