一种数据检测方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据检测方法、装置和电子设备，通过获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。由此可以看出本发明专利技术可以对商业银行数据仓库的数据进行数据质量检测，以消除数据的质量问题。

【技术实现步骤摘要】
一种数据检测方法、装置和电子设备
本专利技术涉及数据检测
，特别是涉及一种数据检测方法、装置和电子设备。
技术介绍
由于历史累积、违归操作、系统迁移以及系统固有缺陷等原因，数据质量缺陷广泛存在，难以根除。特别是商业银行数据仓库的数据因为数据来源渠道分散、各下游端数据加工规则不一致、生产端数据原始性缺失等等，都为数据仓库的基础数据埋下了层层隐患，带来了潜在的数据质量问题。目前，暂无对商业银行数据仓库的进行大规模的数据检测方法，即目前没有对商业银行数据仓库的数据进行数据质量检测，以消除数据的质量问题。
技术实现思路
本专利技术实施例的目的在于提供一种数据检测方法、装置和电子设备，以实现对商业银行数据仓库的数据进行数据质量检测，以消除数据的质量问题。具体技术方案如下：第一方面，一种数据检测方法，包括：获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有本文档来自技高网...

【技术保护点】
1.一种数据检测方法，其特征在于，包括：/n获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；/n按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。/n

【技术特征摘要】
1.一种数据检测方法，其特征在于，包括：
获得预先设置的数据作业链路，其中，所述数据作业链路包括：具有处理依赖关系的多个数据处理作业以及分别与各所述数据处理作业对应的数据检查作业；在所述数据作业链路中，具有处理依赖关系的两个数据处理作业之间设置有所述数据检查作业，且所述数据检查作业与所述两个数据处理作业中被依赖的所述数据处理作业对应；
按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业。


2.根据权利要求1所述的方法，其特征在于，所述按照所述处理依赖关系，依次执行所述数据作业链路中的所述数据处理作业和所述数据检查作业，包括：
在所述数据作业链路中的目标数据处理作业执行结束后，执行所述目标数据处理作业对应的目标数据检查作业，以对所述目标数据处理作业产生的业务数据进行检查；
当所述目标数据检查作业的检查结果为数据无异常时，执行依赖所述目标数据处理作业的其他数据处理作业。


3.根据权利要求2所述的方法，其特征在于，所述目标数据检查作业所包括的检查项目与所述目标数据处理作业对应，和/或，所述目标数据检查作业至少包括如下检查项目中的至少一种：
数据记录检查：检查数据表中存储的所述目标数据处理作业产生的业务数据是否存在记录异常的情况；
数据统计检查：统计所述数据表中存储的所述目标数据处理作业产生的业务数据的变化情况，以检查所述所述数据表中存储的所述目标数据处理作业产生的业务数据是否存在统计特征异常的情况；
数据应用检查：对所述数据表中存储的所述目标数据处理作业产生的业务数据进行综合分析，以确定是否将其提供给所述目标数据检查作业下游的数据处理作业。


4.根据权利要求3所述的方法，其特征在于，所述记录异常包括字段要素缺失、字段要素取值异常和记录缺失中的至少一种。


5.根据权利要求3所述的方法，其特征在于，所述统计特征异常包括数据翻倍、异常减少和比重突变中的至少一种。


6.根据权利要求3所...

【专利技术属性】
技术研发人员：黄雅欢，李卓蓉，史珂宇，尹煜，陈冠豪，董毅，梁钰晨，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：北京;11