【技术实现步骤摘要】
本专利技术涉及金融科技领域，尤其涉及分布式数据质量检核方法及装置。
技术介绍
1、本部分旨在为本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、随着商业银行业务的深入开展，数据中心后台处理数据的应用系统也相应增加。目前大型商业银行数据中心每日的批处理作业数量一般达到100万+、涉及系统数量达到500+。在新的业务背景下，应用之间的数据关联关系越发复杂，业务指标往往需要经过多层的批量作业与数据依赖最终加工生成。以east报送业务为例，复杂的单场景数据链路一般需要经过50层级以上、数千个批量作业及数据文件加工形成。east监管报送涉及报送指标5千余个、指标依赖上游系统300余个、业务部门30余个，数据加工环节复杂。传统数据质量检核方法，在处理海量的数据检核时存在明显的不足。
技术实现思路
1、本专利技术实施例提供一种分布式数据质量检核方法，用以降低数据质量检核成本，提升数据质量检核的效率和准确性，该方法包括：
2、接收各上游系统的数据质量信息，根据数据质量信息，建立检核参数库，所述检核参数库包含一个或多个检核参数表，建立各检核参数表与各上游系统的映射关系；
3、对各检核参数表中的检核参数进行加密，根据各检核参数表与各上游系统的映射关系，将加密后的检核参数推送至对应的上游系统；
4、根据各检核参数表与各上游系统的映射关系和数据质量信息，制定各上游系统的检核任务；
5、在各上游系统对加密后的检
6、本专利技术实施例还提供一种分布式数据质量检核装置，用以降低数据质量检核成本，提升数据质量检核的效率和准确性，该装置包括：
7、参数建立模块，用于接收各上游系统的数据质量信息，根据数据质量信息，建立检核参数库，所述检核参数库包含一个或多个检核参数表，建立各检核参数表与各上游系统的映射关系；
8、加密推送模块，用于对各检核参数表中的检核参数进行加密，根据各检核参数表与各上游系统的映射关系，将加密后的检核参数推送至对应的上游系统；
9、任务制定模块，用于根据各检核参数表与各上游系统的映射关系和数据质量信息，制定各上游系统的检核任务；
10、检核模块，用于在各上游系统对加密后的检核参数进行解密后，根据各上游系统的检核任务，向对应的上游系统发送检核指令，所述上游系统用于接收检核指令后，根据对应检核参数完成数据质量检核。
11、本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式数据质量检核方法。
12、本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式数据质量检核方法。
13、本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述分布式数据质量检核方法。
14、本专利技术实施例中，接收各上游系统的数据质量信息，根据数据质量信息，建立检核参数库，所述检核参数库包含一个或多个检核参数表，建立各检核参数表与各上游系统的映射关系；对各检核参数表中的检核参数进行加密，根据各检核参数表与各上游系统的映射关系，将加密后的检核参数推送至对应的上游系统；根据各检核参数表与各上游系统的映射关系和数据质量信息，生成各上游系统的检核任务；在各上游系统对加密后的检核参数进行解密后，根据各上游系统的检核任务，向对应的上游系统发送检核指令，供上游系统接收检核指令后，根据对应检核参数完成数据质量检核。这样，将需要集中检核端完成的数据质量检核工作调整为由各个上游系统进行分布式执行，及时识别出上游库表变化引起的数据质量检核参数失真场景，将数据质量检核任务以分布式方式交由上游系统执行，可以有效减少集中检核端任务出错的影响，同时大大了降低集中检核带来的网络、存储、计算等资源消耗，满足实时类的数据质量检核需求，进一步保证数据质量检核参数的准确性，也减少了上游表结构变化引发的数据质量误检测风险，提升了数据质量的检核效率。
本文档来自技高网...【技术保护点】
1.一种分布式数据质量检核方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，根据数据质量信息，建立检核参数库，包括：
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求1所述的方法，其特征在于，对各检核参数表中的检核参数进行加密，包括：
5.如权利要求1所述的方法，其特征在于，检核任务包括检核发起时间和检核频率；
6.如权利要求1所述的方法，其特征在于，还包括：
7.一种分布式数据质量检核装置，其特征在于，包括：
8.如权利要求7所述的装置，其特征在于，参数建立模块具体用于：
9.如权利要求7所述的装置，其特征在于，还包括字段比对模块，具体用于：
10.如权利要求7所述的装置，其特征在于，加密推送模块具体用于：
11.如权利要求7所述的装置，其特征在于，检核任务包括检核发起时间和检核频率；
12.如权利要求7所述的装置，其特征在于，还包括结果汇总模块，具体用于：
13.一种计算机设备，包括存储器、处理器及存储
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。
...【技术特征摘要】
1.一种分布式数据质量检核方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，根据数据质量信息，建立检核参数库，包括：
3.如权利要求1所述的方法，其特征在于，还包括：
4.如权利要求1所述的方法，其特征在于，对各检核参数表中的检核参数进行加密，包括：
5.如权利要求1所述的方法，其特征在于，检核任务包括检核发起时间和检核频率；
6.如权利要求1所述的方法，其特征在于，还包括：
7.一种分布式数据质量检核装置，其特征在于，包括：
8.如权利要求7所述的装置，其特征在于，参数建立模块具体用于：
9.如权利要求7所述的装置，其特征在于，还包括字段比对模块，具体用于：
10.如权利要...
【专利技术属性】
技术研发人员：吕震，郭玉章，陈洁，李颢，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。