【技术实现步骤摘要】
本专利技术涉及金融科技领域,尤其涉及分布式数据质量检核方法及装置。
技术介绍
1、本部分旨在为本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、随着商业银行业务的深入开展,数据中心后台处理数据的应用系统也相应增加。目前大型商业银行数据中心每日的批处理作业数量一般达到100万+、涉及系统数量达到500+。在新的业务背景下,应用之间的数据关联关系越发复杂,业务指标往往需要经过多层的批量作业与数据依赖最终加工生成。以east报送业务为例,复杂的单场景数据链路一般需要经过50层级以上、数千个批量作业及数据文件加工形成。east监管报送涉及报送指标5千余个、指标依赖上游系统300余个、业务部门30余个,数据加工环节复杂。传统数据质量检核方法,在处理海量的数据检核时存在明显的不足。
技术实现思路
1、本专利技术实施例提供一种分布式数据质量检核方法,用以降低数据质量检核成本,提升数据质量检核的效率和准确性,该方法包括:
2、接收各上游系统的数
...【技术保护点】
1.一种分布式数据质量检核方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据数据质量信息,建立检核参数库,包括:
3.如权利要求1所述的方法,其特征在于,还包括:
4.如权利要求1所述的方法,其特征在于,对各检核参数表中的检核参数进行加密,包括:
5.如权利要求1所述的方法,其特征在于,检核任务包括检核发起时间和检核频率;
6.如权利要求1所述的方法,其特征在于,还包括:
7.一种分布式数据质量检核装置,其特征在于,包括:
8.如权利要求7所述的装置,其特征在于,参
...【技术特征摘要】
1.一种分布式数据质量检核方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据数据质量信息,建立检核参数库,包括:
3.如权利要求1所述的方法,其特征在于,还包括:
4.如权利要求1所述的方法,其特征在于,对各检核参数表中的检核参数进行加密,包括:
5.如权利要求1所述的方法,其特征在于,检核任务包括检核发起时间和检核频率;
6.如权利要求1所述的方法,其特征在于,还包括:
7.一种分布式数据质量检核装置,其特征在于,包括:
8.如权利要求7所述的装置,其特征在于,参数建立模块具体用于:
9.如权利要求7所述的装置,其特征在于,还包括字段比对模块,具体用于:
10.如权利要...
【专利技术属性】
技术研发人员:吕震,郭玉章,陈洁,李颢,
申请(专利权)人:中国建设银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。