一种数据一致性核验方法、装置、设备及介质制造方法及图纸

本申请提供了一种数据一致性核验方法、装置、设备及介质，可应用于大数据或金融领域，包括：获取源表和目标表；响应于所述源表或目标表有主键，依据所述主键，将所述源表和目标表进行全外连接，得到比对表；响应于所述源表或目标表没有主键，分别将所述源表和目标表全字段排序后，增加序号作为主键，生成两张临时表；依据所述主键，将所述两张临时表进行全外连接，得到比对表；判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果。根据数据核验规则，针对源表或目标表有无主键的两种情况，生成不同的核验流程，自动化将基础数据平台中的数据表和数据管理平台中的数据表进行对比，完成一致性核验，减少了人工比对的成本。工比对的成本。工比对的成本。

【技术实现步骤摘要】
一种数据一致性核验方法、装置、设备及介质


[0001]本申请涉及大数据或金融的
，特别是涉及一种数据一致性核验方法、装置、设备及介质。

技术介绍

[0002]EDP(Enterprise Date Platform)是基于软件定义存储的一个真正完整的企业级基础数据平台，可以满足用户块存储、对象、文件的业务需求。T
‑
DCMP(Digital Content Management Protection)是一种数据管理平台，承接EDP现有数据质量管控、数据模型及数据整合汇总等功能，为下游传统集市供数，尽量减少现状子系统改造。
[0003]在EDP结构下线的过程中，即将EDP下游现状子系统切换到T
‑
DCMP数据底座的过程中，T
‑
DCMP需保证下传数据与EDP下传数据具有较高一致性，所以，需要将两种产品的下传表进行数据一致性验证。但是，EDP下传表包含2000余张，并且每张表每日数据量惊人，而且需每日持续核验当日数据，人工进行核验会导致工作量大、重复操作频繁、人工成本高等问题。...

【技术保护点】

【技术特征摘要】
1.一种数据一致性核验方法，其特征在于，所述方法包括：获取源表和目标表，所述源表为基础数据平台中的数据表，所述目标表为数据管理平台中与所述源表对应的数据表；响应于所述源表或目标表有主键，依据所述主键，将所述源表和目标表进行全外连接，得到比对表；响应于所述源表或目标表没有主键，分别将所述源表和目标表全字段排序后，增加序号作为主键，生成两张临时表；依据所述主键，将所述两张临时表进行全外连接，得到比对表；判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果。2.根据权利要求1所述的方法，其特征在于，所述获取源表和目标表，包括：获取数据一致性核验任务，所述数据一致性核验任务包括起始时间和终止时间；根据所述起始时间和终止时间，在所述基础数据平台中获取所述起始时间到所述终止时间的数据，作为源表；根据所述起始时间和终止时间，在所述数据管理平台中获取所述起始时间到所述终止时间的数据，作为目标表。3.根据权利要求1所述的方法，其特征在于，在所述获取源表和目标表之前，所述方法还包括：获取数据一致性核验任务，所述数据一致性核验任务包括周期属性，所述周期属性用于表示所述数据一致性核验任务是否为周期性任务；响应于所述周期属性为是周期性任务，根据所述周期属性，设置轮询表，所述轮询表用于定时触发所述获取源表和目标表。4.根据权利要求1所述的方法，其特征在于，所述判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果，包括：响应于所述比对表中所有行的字段都一致，确定所述源表和目标表的一致性核验结果为通过；响应于所述比对表中不是所有行的字段都一致，确定所述源表和目标表的一致性核验结果为不通过。5.根据权利要求1所述的方法，其特征在于，在所述判断所述比对表每行的字段是否一致，得到所述源表和目标表的一致性核验结果之后，所述方法还包括：响应于所述比对表中不是所有行的字段都一致，获取总行数和...

【专利技术属性】
技术研发人员：孙悦，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：