一种数据一致性验证方法和相关装置制造方法及图纸

本申请公开了一种数据一致性验证方法及相关装置。方法中，首先确定具有映射关系的目标hive表和目标GBase数据库表。其后根据目标hive表中的第一目标字段和目标GBase数据库表中第二目标字段，确定对第一目标字段的数据和第二目标字段的数据进行一致性验证的验证通过条件。依据验证通过条件可以辅助有目的有依据地执行对第一目标字段和第二目标字段的数据一致性验证。最后，根据验证通过条件、第一目标字段的数据和第二目标字段的数据，获得对第一目标字段的数据和第二目标字段的数据的一致性验证结果。此方法可自动实现字段级别精度的数据一致性验证，精准定位问题数据所属的字段，降低对人员专业性的依赖，节省人力成本。节省人力成本。节省人力成本。

【技术实现步骤摘要】
一种数据一致性验证方法和相关装置


[0001]本申请涉及数据验证
，特别是涉及一种数据一致性验证方法和相关装置。

技术介绍

[0002]在各行业的大数据应用中，可以基于实际需求形成数据表。Hadoop是一种分布式系统基础架构，Hadoop生态更擅长批处理以及多表或全表扫描，实时流处理，非结构化数据的存储和转换等。大规模并行处理(Massively Parallel Processing,MPP)MPP架构将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。采用MPP架构的数据库称为MPP数据库。MPP更擅长于报表、即席查询、结构化数据计算分析等。基于复杂数据的背景下，越来越多的企业选择使用Hadoop和MPP混合的架构实现全数据业务需求，达到两者在数据处理中的优势互补。比如一般用Hadoop实现大数据平台，MPP实现数据仓库。
[0003]hive为基于Hadoop生态中的一个数据仓库工具。它本质上不是一种数据库，而是一种工具。hive用来进行数据提取、转化、加载，这是一种可以存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据一致性验证方法，其特征在于，包括：确定目标hive表和目标GBase数据库表，所述目标hive表和所述目标GBase数据库表具有映射关系；根据所述目标hive表中的第一目标字段和所述目标GBase数据库表中第二目标字段，确定对所述第一目标字段的数据和所述第二目标字段的数据进行一致性验证的验证通过条件，所述第一目标字段和所述第二目标字段具有映射关系；根据所述验证通过条件、所述第一目标字段的数据和所述第二目标字段的数据，获得对所述第一目标字段的数据和所述第二目标字段的数据的一致性验证结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标hive表中的第一目标字段和所述目标GBase数据库表中第二目标字段，确定对所述第一目标字段的数据和所述第二目标字段的数据进行一致性验证的验证通过条件，包括：当所述第一目标字段与所述第二目标字段为预设含义类型的字段时，将所述第一目标字段的数据与所述第二目标字段的数据的含义相同作为所述验证通过条件；当所述第一目标字段与所述第二目标字段为非预设含义类型的字段时，将所述第一目标字段的数据与所述第二目标字段的数据满足预设数据类型转换关系作为所述验证通过条件。3.根据权利要求1所述的方法，其特征在于，在所述确定目标hive表和目标GBase数据库表之前，所述方法还包括：根据业务需求配置待验证的hive表和待验证的GBase数据库表之间的映射关系，并根据所述业务需求配置所述待验证的hive表中待验证字段和所述GBase数据库表中待验证字段的映射关系。4.根据权利要求1所述的方法，其特征在于，所述根据所述验证通过条件、所述第一目标字段的数据和所述第二目标字段的数据，获得对所述第一目标字段的数据和所述第二目标字段的数据的一致性验证结果，包括：当所述第一目标字段的数据和所述第二目标字段的数据不满足所述验证通过条件时，生成一致性验证结果，所述一致性验证结果指示所述第一目标字段的数据与所述第二目标字段的数据通过一致性验证；当所述第一目标字段的数据和所述第二目标字段的数据不满足所述验证通过条件时，生成一致性验证结果，所述一致性验证结果指示所述第一目标字段的数据与所述第二目标字段的数据未通过一致性验证；所述一致性验证结果包括差异字段信息，所述差异字段信息包括所述第一目标字段与所述第二目标字段。5.根据权利要求1所述的方法，其特征在于，还包括：根据所述目标hive表生成第一文件，并根据所述目标GBase数据库表生成第二文件，所述第一文件与所述第二文件的文件类型相同。6.根据权利要求5所...

【专利技术属性】
技术研发人员：王弄笛，吴猛，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：