一种数据核对的方法、装置、存储介质及电子设备制造方法及图纸

本申请提供了一种数据核对的方法、装置、存储介质及电子设备，涉及数据处理领域、数据库技术领域或金融领域。其中，该数据核对的方法：包括将源表和目标表按照主键进行全外连接，所述源表存储有数据迁移前的数据，所述目标表存储有数据迁移后的数据；当根据全外连接的结果确定所述源表和所述目标表存在非关联数据时，或者所述源表和所述目标表的关联数据的非主键字段不一致时，确定所述源表和所述目标表中的数据不一致。利用本申请提供的方法，提升了数据核对结果的可信度。提升了数据核对结果的可信度。提升了数据核对结果的可信度。

【技术实现步骤摘要】
一种数据核对的方法、装置、存储介质及电子设备


[0001]本申请涉及数据处理领域，尤其涉及一种数据核对的方法、装置、存储介质及电子设备。

技术介绍

[0002]目前，银行系统或者数据中心在业务运行的过程中会将持续产生海量数据存储在数据库的数据表中。
[0003]数据的维护或使用过程中会发生迁移和存储冗余数据副本的场景，例如系统升级、历史数据迁移、数据备份、建设灾备环境等过程都会涉及。数据移动、备份、冗余存储的过程中需要保证数据迁移前后的一致性和完整性，需要对前后数据进行核对。目前采用的一种核对方法是抽样核对，但是这种方法不能进行全量数据比对，仅能保证参与抽样的数据的准确性，导致海量数据的核对结果的可信度较低。

技术实现思路

[0004]为了解决现有技术存在的上述技术问题，本申请提供了一种数据核对的方法、装置、存储介质及电子设备，提升了数据核对结果的可信度。
[0005]第一方面，本申请提供了一种数据核对的方法，该方法包括：将源表和目标表按照主键进行全外连接，所述源表存储有数据迁移前的数据，所述目标表存储有数据迁移后的数据；当根据全外连接的结果确定所述源表和所述目标表存在非关联数据时，或者所述源表和所述目标表的关联数据的非主键字段不一致时，确定所述源表和所述目标表中的数据不一致。
[0006]利用本申请提供的技术方案，通过将源表和目标表按照主键进行全外连接，能够快速确定源表和目标表中是否存在非关联数据时，实现初次的快速核对。当存在非关联数据时，可以进一步对关联数据的非主键字段进行一致性的检测，实现对于数据的全量核对。而当不存在非关联数据时，也可以进一步对关联数据的非主键字段进行一致性的检测，实现对于数据的全量核对。因此本申请的技术方案能够实现对于数据表的全量数据核对，提升了数据核对结果的可信度。
[0007]在一种可能的实现方式中，所述将源表和目标表按照主键进行全外连接，具体包括：当所述源表和所述目标表均存在主键时，直接将所述源表和所述目标表按照主键进行全外连接；当所述源表和所述目标表均不存在主键时，为所述源表和所述目标表生成主键，并将所述源表和所述目标表按照主键进行全外连接。
[0008]该实现方式当源表和目标表均不存在主键时，首先为源表和目标表生成主键，并将所述源表和所述目标表按照主键进行全外连接，进而实现了数据的全量核对，解决无主键的数据表难以进行全量核对的问题。
[0009]在一种可能的实现方式中，为所述源表和所述目标表生成主键，具体包括：按照相同的排序规则，对所述源表和所述目标表中的数据分别进行排序；根据所述源表中重新排
序后的各数据的行序号，生成所述源表的主键；根据所述目标表中重新排序后的各数据的行序号，生成所述目标表的主键。
[0010]在一种可能的实现方式中，所述将源表和目标表按照主键进行全外连接之前，所述方法还包括：当所述源表和所述目标表中存在业务意义一致但数据处理规则不一致的待转换字段时，将所述源表和所述目标表中的待转换字段采用的数据处理规则统一。
[0011]在一种可能的实现方式中，所述将所述源表和所述目标表中的待转换字段的数据处理规则统一，具体包括：根据所述源表中的待转换字段采用的数据处理规则，对所述目标表中的待转换字段的数据进行转换处理，以使所述源表和所述目标表中的待转换字段采用的数据处理规则统一。
[0012]在一种可能的实现方式中，将所述源表和所述目标表中的待转换字段的数据处理规则统一，具体包括：根据所述目标表中的待转换字段采用的数据处理规则，对所述源表中的待转换字段的数据进行转换处理，以使所述源表和所述目标表中的待转换字段采用的数据处理规则统一。
[0013]在一种可能的实现方式中，确定所述源表和所述目标表中的数据不一致后，所述方法还包括：记录所述源表和所述目标表中不一致的数据并进行检查处理。
[0014]第二方面，本申请提供了一种数据核对的装置，该装置包括处理单元和核对单元。处理单元用于将源表和目标表按照主键进行全外连接，所述源表存储有数据迁移前的数据，所述目标表存储有数据迁移后的数据；核对单元用于当根据全外连接的结果确定所述源表和所述目标表存在非关联数据时，或者所述源表和所述目标表的关联数据的非主键字段不一致时，确定所述源表和所述目标表中的数据不一致。
[0015]在一种可能的实现方式中，处理单元具体用于当所述源表和所述目标表均存在主键时，直接将所述源表和所述目标表按照主键进行全外连接；当所述源表和所述目标表均不存在主键时，为所述源表和所述目标表生成主键，并将所述源表和所述目标表按照主键进行全外连接。
[0016]在一种可能的实现方式中，处理单元具体用于按照相同的排序规则，对所述源表和所述目标表中的数据分别进行排序；根据所述源表中重新排序后的各数据的行序号，生成所述源表的主键；根据所述目标表中重新排序后的各数据的行序号，生成所述目标表的主键。
[0017]在一种可能的实现方式中，该数据核对的装置还包括转换单元，转换单元用于当所述源表和所述目标表中存在业务意义一致但数据处理规则不一致的待转换字段时，将所述源表和所述目标表中的待转换字段采用的数据处理规则统一。
[0018]在一种可能的实现方式中，转换单元具体用于根据所述源表中的待转换字段采用的数据处理规则，对所述目标表中的待转换字段的数据进行转换处理，以使所述源表和所述目标表中的待转换字段采用的数据处理规则统一。
[0019]在一种可能的实现方式中，转换单元具体用于根据所述目标表中的待转换字段采用的数据处理规则，对所述源表中的待转换字段的数据进行转换处理，以使所述源表和所述目标表中的待转换字段采用的数据处理规则统一。
[0020]在一种可能的实现方式中，该装置还包括记录单元，记录单元具体用于记录所述源表和所述目标表中不一致的数据并进行检查处理。
[0021]利用本申请实施例提供的装置，能够实现对于数据表的全量数据核对，提升了数据核对结果的可信度。此外，当源表和目标表均不存在主键时，该装置能够首先为源表和目标表生成主键，并将源表和所述目标表按照主键进行全外连接，进而实现了数据的全量核对，并且解决无主键的数据表难以进行全量核对的问题。
[0022]第三方面，本申请还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据核对的方法。
[0023]第四方面，本申请还提供了一种电子设备，电子设备用于运行程序，其中，所述程序运行时执行以上任意一种实现方式所述的数据核对的方法。
附图说明
[0024]图1为本申请提供的场景示意图一；
[0025]图2为本申请实施例提供的一种数据核对方法的流程图；
[0026]图3为本申请实施例提供的另一种数据核对方法的流程图；
[0027]图4为本申请实施例提供的一种数据核对装置的示意图；
[0028]图5为本申请实施例提供的另一种数据核对装置的示意图；
[0029]图6为本申请实施例提供的一种电子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据核对的方法，其特征在于，所述方法包括：将源表和目标表按照主键进行全外连接，所述源表存储有数据迁移前的数据，所述目标表存储有数据迁移后的数据；当根据全外连接的结果确定所述源表和所述目标表存在非关联数据时，或者所述源表和所述目标表的关联数据的非主键字段不一致时，确定所述源表和所述目标表中的数据不一致。2.根据权利要求1所述的方法，其特征在于，所述将源表和目标表按照主键进行全外连接，具体包括：当所述源表和所述目标表均存在主键时，直接将所述源表和所述目标表按照主键进行全外连接；当所述源表和所述目标表均不存在主键时，为所述源表和所述目标表生成主键，并将所述源表和所述目标表按照主键进行全外连接。3.根据权利要求2所述的方法，其特征在于，为所述源表和所述目标表生成主键，具体包括：按照相同的排序规则，对所述源表和所述目标表中的数据分别进行排序；根据所述源表中重新排序后的各数据的行序号，生成所述源表的主键；根据所述目标表中重新排序后的各数据的行序号，生成所述目标表的主键。4.根据权利要求1所述的方法，其特征在于，所述将源表和目标表按照主键进行全外连接之前，所述方法还包括：当所述源表和所述目标表中存在业务意义一致但数据处理规则不一致的待转换字段时，将所述源表和所述目标表中的待转换字段采用的数据处理规则统一。5.根据权利要求4所述的方法，其特征在于，所述将所述源表和所述目标表中的待转换字段的数据处理规则统一，具体包括：根据所述源表中的待转换字段采...

【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：