【技术实现步骤摘要】
本专利技术涉及数据自动化处理，具体涉及用于数据仓库的数据一致性验证方法、装置、设备及介质。
技术介绍
1、随着数据仓库技术的不断革新，各大企业纷纷开启了数据仓库底层平台换新的工作，这样就面临着大量的老数据仓库作业需要迁移到新的数据仓库。作业迁移需要保证迁移前后两张表数据的一致性，因此数据验证工作就显得尤为重要且由于数据仓库存在着大量的数据表，数据验证的工作量会非常大。
2、业内通常采用的方式是针对迁移前后的两张表编写sql，输入表名、字段名，通过字段值是否相等来判断；迁移的每张表都需要编写相应的比对sql，还需要输入这张表需要比对的字段，这样的工作不仅重复，而且还需要投入大量的人力来编写sql。
技术实现思路
1、基于此，有必要针对上述问题，提出一种用于数据仓库的数据一致性验证方法、装置、设备及介质。
2、为实现上述目的，本申请第一方面提供一种用于数据仓库的数据一致性验证方法，所述方法包括：
3、预先设置需要验证的数据字段；
4、根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据；
5、通过对迁移前的数据表格、迁移后的数据表格的数据的比对，获取比对结果。在一些实施方式中，所述预先设置需要验证的数据字段，具体包括：预先设置需要验证的数据字段至少包括：库名字段、表名字段、分区字段、比对分区日期字段、无需比对字段。
6、在一些实施方式中，所述根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数
7、分别解析迁移前的数据表格、迁移后的数据表格中无需比对字段的数据；
8、或/和、
9、分别确定迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量；
10、或/和、
11、分别获取迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据，之后，拼接所述迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据，将拼接后的数据中为null的字段转为空，通过md5函数将字段concat后的结果进行转换，生成record_key字段；
12、或/和、分别获取迁移前的数据表格、迁移后的数据表格中库名字段的数据；
13、或/和、分别获取迁移前的数据表格、迁移后的数据表格中表名字段的数据；
14、或/和、分别获取迁移前的数据表格、迁移后的数据表格中分区字段的数据。
15、在一些实施方式中，所述通过对迁移前的数据表格、迁移后的数据表格的数据的比对，具体包括：
16、在所述解析迁移前的数据表格、迁移后的数据表格中剔除所述分别解析迁移前的数据表格、迁移后的数据表格中无需比对字段的数据，确定所述迁移前的数据表格、迁移后的数据表格中剩余的字段是否一致；如果确定所述迁移前的数据表格、迁移后的数据表格中剩余的字段一致，继续比对剩余数据；
17、如果确定所述迁移前的数据表格、迁移后的数据表格中剩余的字段不一致，确定验证失败。
18、在一些实施方式中，所述迁移前的数据表格、迁移后的数据表格的字段一致，继续比对剩余数据，之后，所述方法包括：确定所述分别确定迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量是否一致，如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量一致，继续比对剩余数据；如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量不一致，确定验证失败。
19、在一些实施方式中，所述如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量一致，继续比对剩余数据，之后，所述方法包括：根据所述record_key字段确定是否存在null或者不相等的情况，如果不存在，确定所述迁移前的数据表格、迁移后的数据表格的数据一致；如果存在，确定所述所述迁移前的数据表格、迁移后的数据表格的数据不一致，执行差异明细数据比对。
20、在一些实施方式中，所述差异明细数据比对，具体包括：根据所述分别获取迁移前的数据表格、迁移后的数据表格中库名字段的数据确定是否一致；
21、或/和、根据所述分别获取迁移前的数据表格、迁移后的数据表格中表名字段的数据确定是否一致；
22、或/和、根据所述分别获取迁移前的数据表格、迁移后的数据表格中分区字段的数据确定是否一致。
23、在一些实施方式中，所述获取比对结果，具体包括：完成迁移前的数据表格、迁移后的数据表格中所有字段的比对之后，根据比对结果生成比对结果表。
24、在一些实施方式中，所述方法还包括：根据所述差异明细数据比对的结果，生成差异明细数据对照表。
25、为实现上述目的，本申请第二方面提供一种用于数据仓库的数据一致性验证装置，所述装置包括：
26、设置模块，用于预先设置需要验证的数据字段；
27、迁移模块，用于根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据；
28、比对模块，用于通过对迁移前的数据表格、迁移后的数据表格的数据的比对，获取比对结果。
29、为实现上述目的，本申请第三方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
30、预先设置需要验证的数据字段；
31、根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据；
32、通过对迁移前的数据表格、迁移后的数据表格的数据的比对，获取比对结果。
33、为实现上述目的，本申请第四方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
34、预先设置需要验证的数据字段；
35、根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据；
36、通过对迁移前的数据表格、迁移后的数据表格的数据的比对，获取比对结果。
37、采用本专利技术实施例，具有如下有益效果：
38、本专利技术通过预先设置需要验证的数据字段；根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据；通过对迁移前的数据表格、迁移后的数据表格的数据进行比对，获取比对结果，这样，通过迁移前后的数据表格中字段的元数据信息比对，生成对应的比对结果，大大的节省了人力的投入和重复机械式的工作。
本文档来自技高网...【技术保护点】
1.一种用于数据仓库的数据一致性验证方法，所述方法包括：
2.根据权利要求1所述的用于数据仓库的数据一致性验证方法，其特征在于，所述预先设置需要验证的数据字段，具体包括：预先设置需要验证的数据字段至少包括：库名字段、表名字段、分区字段、比对分区日期字段、无需比对字段。
3.根据权利要求1所述的用于数据仓库的数据一致性验证方法，其特征在于，所述根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据，具体包括：
4.根据权利要求3所述的用于数据仓库的数据一致性验证方法，其特征在于，所述通过对迁移前的数据表格、迁移后的数据表格的数据的比对，具体包括：
5.根据权利要求4所述的用于数据仓库的数据一致性验证方法，其特征在于，所述迁移前的数据表格、迁移后的数据表格的字段一致，继续比对剩余数据，之后，所述方法包括：确定所述分别确定迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量是否一致，如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量一致，继续比对剩余数据；如果迁移前的数据表格、迁移后的数据表格中比对分区日期
6.根据权利要求5所述的用于数据仓库的数据一致性验证方法，其特征在于，所述如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量一致，继续比对剩余数据，之后，所述方法包括：根据所述record_key字段确定是否存在NULL或者不相等的情况，如果不存在，确定所述迁移前的数据表格、迁移后的数据表格的数据一致；如果存在，确定所述所述迁移前的数据表格、迁移后的数据表格的数据不一致，执行差异明细数据比对。
7.根据权利要求6所述的用于数据仓库的数据一致性验证方法，其特征在于，所述差异明细数据比对，具体包括：根据所述分别获取迁移前的数据表格、迁移后的数据表格中库名字段的数据确定是否一致；
8.根据权利要求7所述的用于数据仓库的数据一致性验证方法，其特征在于，所述获取比对结果，具体包括：完成迁移前的数据表格、迁移后的数据表格中所有字段的比对之后，根据比对结果生成比对结果表。
9.根据权利要求8所述的用于数据仓库的数据一致性验证方法，其特征在于，所述方法还包括：根据所述差异明细数据比对的结果，生成差异明细数据对照表。
10.一种用于数据仓库的数据一致性验证装置，其特征在于，所述装置包括：
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
...【技术特征摘要】
1.一种用于数据仓库的数据一致性验证方法，所述方法包括：
2.根据权利要求1所述的用于数据仓库的数据一致性验证方法，其特征在于，所述预先设置需要验证的数据字段，具体包括：预先设置需要验证的数据字段至少包括：库名字段、表名字段、分区字段、比对分区日期字段、无需比对字段。
3.根据权利要求1所述的用于数据仓库的数据一致性验证方法，其特征在于，所述根据所述数据字段分别获取迁移前的数据表格、迁移后的数据表格的数据，具体包括：
4.根据权利要求3所述的用于数据仓库的数据一致性验证方法，其特征在于，所述通过对迁移前的数据表格、迁移后的数据表格的数据的比对，具体包括：
5.根据权利要求4所述的用于数据仓库的数据一致性验证方法，其特征在于，所述迁移前的数据表格、迁移后的数据表格的字段一致，继续比对剩余数据，之后，所述方法包括：确定所述分别确定迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量是否一致，如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量一致，继续比对剩余数据；如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量不一致，确定验证失败。
6.根据权利要求5所述的用于数据仓库的数据一致性验证方法，其特征在于，所述如果迁移前的数据表格、迁移后的数据表格中比对分区日期字段的数据量一致，继续比对剩余数据，之后...
【专利技术属性】
技术研发人员：孟雪，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。