分布式数据质量检核方法及装置制造方法及图纸

技术编号:40556043 阅读:16 留言:0更新日期:2024-03-05 19:16
本发明专利技术公开了一种分布式数据质量检核方法及装置,可用于金融科技领域,该方法包括:接收各上游系统的数据质量信息,建立检核参数库,建立各检核参数表与各上游系统的映射关系;对各检核参数表中的检核参数进行加密,根据各检核参数表与各上游系统的映射关系,将加密后的检核参数推送至对应的上游系统;根据各检核参数表与各上游系统的映射关系和数据质量信息,生成各上游系统的检核任务;根据各上游系统的检核任务,向对应的上游系统发送检核指令,供上游系统接收检核指令后,根据对应检核参数完成数据质量检核。本发明专利技术可以降低数据质量检核成本,提升数据质量检核的效率和准确性。

【技术实现步骤摘要】

本专利技术涉及金融科技领域,尤其涉及分布式数据质量检核方法及装置


技术介绍

1、本部分旨在为本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、随着商业银行业务的深入开展,数据中心后台处理数据的应用系统也相应增加。目前大型商业银行数据中心每日的批处理作业数量一般达到100万+、涉及系统数量达到500+。在新的业务背景下,应用之间的数据关联关系越发复杂,业务指标往往需要经过多层的批量作业与数据依赖最终加工生成。以east报送业务为例,复杂的单场景数据链路一般需要经过50层级以上、数千个批量作业及数据文件加工形成。east监管报送涉及报送指标5千余个、指标依赖上游系统300余个、业务部门30余个,数据加工环节复杂。传统数据质量检核方法,在处理海量的数据检核时存在明显的不足。


技术实现思路

1、本专利技术实施例提供一种分布式数据质量检核方法,用以降低数据质量检核成本,提升数据质量检核的效率和准确性,该方法包括:

2、接收各上游系统的数据质量信息,根据数据本文档来自技高网...

【技术保护点】

1.一种分布式数据质量检核方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据数据质量信息,建立检核参数库,包括:

3.如权利要求1所述的方法,其特征在于,还包括:

4.如权利要求1所述的方法,其特征在于,对各检核参数表中的检核参数进行加密,包括:

5.如权利要求1所述的方法,其特征在于,检核任务包括检核发起时间和检核频率;

6.如权利要求1所述的方法,其特征在于,还包括:

7.一种分布式数据质量检核装置,其特征在于,包括:

8.如权利要求7所述的装置,其特征在于,参数建立模块具体用于:...

【技术特征摘要】

1.一种分布式数据质量检核方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,根据数据质量信息,建立检核参数库,包括:

3.如权利要求1所述的方法,其特征在于,还包括:

4.如权利要求1所述的方法,其特征在于,对各检核参数表中的检核参数进行加密,包括:

5.如权利要求1所述的方法,其特征在于,检核任务包括检核发起时间和检核频率;

6.如权利要求1所述的方法,其特征在于,还包括:

7.一种分布式数据质量检核装置,其特征在于,包括:

8.如权利要求7所述的装置,其特征在于,参数建立模块具体用于:

9.如权利要求7所述的装置,其特征在于,还包括字段比对模块,具体用于:

10.如权利要...

【专利技术属性】
技术研发人员:吕震郭玉章陈洁李颢
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1