【技术实现步骤摘要】
本申请涉及大数据，特别是涉及一种数据质量检测方法、装置、计算机设备和存储介质。
技术介绍
1、不同的上游系统提供的业务数据的质量差异较大，而业务数据的质量高低，会直接影响业务准确性。以反洗钱系统为例，核心交易系统、信贷系统等上游系统向反洗钱系统提供业务数据。若该业务数据质量较差，则反洗钱系统无法准确地识别该业务数据是否命中异常交易模型，从而无法准确判断是否存在异常交易。因此，保证业务数据质量十分重要。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够保证业务数据质量的数据质量检测方法、装置、计算机设备和存储介质。
2、第一方面，本申请提供了一种数据质量检测方法，所述方法包括：
3、获取上游系统产生的业务数据和所述业务数据对应的校验规则，所述业务数据包括多个维度的数据，所述业务数据对应的校验规则包括所述业务数据的每个维度的数据对应的校验规则；
4、针对所述业务数据的每个维度的数据，采用所述维度的数据对应的校验规则对所述维度的数据进行校验，得到所述维度的数据的校验结果；
5、根据所述业务数据的各个维度的数据的校验结果，确定所述业务数据的质量检测结果，所述业务数据的质量检测结果用于确定所述上游系统是否向业务系统上报所述业务数据，所述业务系统用于处理所述业务数据。
6、在一种可能的实现方式中，所述获取上游系统产生的业务数据和所述业务数据对应的校验规则，包括：
7、接收所述上游系统发送的数据质量检测指令，所
8、从所述质量检测指令中获取所述业务数据；
9、从所述质量检测指令中获取所述规则标识，并根据所述规则标识从校验规则库中获取所述业务数据的每个维度的数据对应的校验规则，所述校验规则库用于存储为各个维度预设的校验规则；
10、所述方法还包括：
11、向所述上游系统返回所述业务数据的质量检测结果。
12、在一种可能的实现方式中，所述获取上游系统产生的业务数据和所述业务数据对应的校验规则，包括：
13、当到达预设检测时刻时，从业务数据库中获取多个所述业务数据以及从校验规则库中获取每个所述业务数据的每个维度的数据对应的校验规则，所述业务数据库用于存储各个上游系统产生的业务数据，所述校验规则库用于存储为各个维度预设的校验规则。
14、在一种可能的实现方式中，所述方法还包括：
15、根据每个所述业务数据的质量检测结果，生成数据质量雷达图，所述数据质量雷达图用于指示各个维度的数据的校验通过率，其中，任意一个维度的数据的校验通过率表示所述维度的数据通过校验的业务数据的数量占获取的业务数据的数量的比例。
16、在一种可能的实现方式中，每个维度的数据的校验规则包括正则表达式、sql语句和联机接口中的一者或多者；
17、其中，所述正则表达式用于进行语法规则校验，所述sql语句用于进行关联关系校验，所述联机接口用于进行第三方校验。
18、在一种可能的实现方式中，所述多个维度的数据至少包括交易机构、交易主体、交易账户和交易内容。
19、第二方面，本申请还提供了一种数据质量检测装置，所述装置包括：
20、获取模块，用于获取上游系统产生的业务数据和所述业务数据对应的校验规则，所述业务数据包括多个维度的数据，所述业务数据对应的校验规则包括所述业务数据的每个维度的数据对应的校验规则；
21、校验模块，用于针对所述业务数据的每个维度的数据，采用所述维度的数据对应的校验规则对所述维度的数据进行校验，得到所述维度的数据的校验结果；
22、确定模块，用于根据所述业务数据的各个维度的数据的校验结果，确定所述业务数据的质量检测结果，所述业务数据的质量检测结果用于确定所述上游系统是否向业务系统上报所述业务数据，所述业务系统用于处理所述业务数据。
23、在一种可能的实现方式中，所述装置还包括返回模块；
24、所述获取模块还用于：
25、接收所述上游系统发送的数据质量检测指令，所述数据检测质量指令中包括所述业务数据和所述业务数据的每个维度的数据对应的校验规则的规则标识；
26、从所述质量检测指令中获取所述业务数据；
27、从所述质量检测指令中获取所述规则标识，并根据所述规则标识从校验规则库中获取所述业务数据的每个维度的数据对应的校验规则，所述校验规则库用于存储为各个维度预设的校验规则；
28、所述返回模块，用于向所述上游系统返回所述业务数据的质量检测结果。
29、在一种可能的实现方式中，所述获取模块还用于：
30、当到达预设检测时刻时，从业务数据库中获取多个所述业务数据以及从校验规则库中获取每个所述业务数据的每个维度的数据对应的校验规则，所述业务数据库用于存储各个上游系统产生的业务数据，所述校验规则库用于存储为各个维度预设的校验规则。
31、在一种可能的实现方式中，所述装置还包括：
32、生成模块，用于根据每个所述业务数据的质量检测结果，生成数据质量雷达图，所述数据质量雷达图用于指示各个维度的数据的校验通过率，其中，任意一个维度的数据的校验通过率表示所述维度的数据通过校验的业务数据的数量占获取的业务数据的数量的比例。
33、在一种可能的实现方式中，每个维度的数据的校验规则包括正则表达式、sql语句和联机接口中的一者或多者；
34、其中，所述正则表达式用于进行语法规则校验，所述sql语句用于进行关联关系校验，所述联机接口用于进行第三方校验。
35、在一种可能的实现方式中，所述多个维度的数据至少包括交易机构、交易主体、交易账户和交易内容。
36、第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
37、获取上游系统产生的业务数据和所述业务数据对应的校验规则，所述业务数据包括多个维度的数据，所述业务数据对应的校验规则包括所述业务数据的每个维度的数据对应的校验规则；
38、针对所述业务数据的每个维度的数据，采用所述维度的数据对应的校验规则对所述维度的数据进行校验，得到所述维度的数据的校验结果；
39、根据所述业务数据的各个维度的数据的校验结果，确定所述业务数据的质量检测结果，所述业务数据的质量检测结果用于确定所述上游系统是否向业务系统上报所述业务数据，所述业务系统用于处理所述业务数据。
40、第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
41、获取上游系统产生的业务数据和所述业务数据对应的校验规则，所述业务数据包括多个维度的数据，所述业务数据对应的校验规本文档来自技高网...
【技术保护点】
1.一种数据质量检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取上游系统产生的业务数据和所述业务数据对应的校验规则，包括：
3.根据权利要求1所述的方法，其特征在于，所述获取上游系统产生的业务数据和所述业务数据对应的校验规则，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1至4中任意一项所述的方法，其特征在于，每个维度的数据的校验规则包括正则表达式、SQL语句和联机接口中的一者或多者；
6.根据权利要求1至4中任意一项所述的方法，其特征在于，所述多个维度的数据至少包括交易机构、交易主体、交易账户和交易内容。
7.一种数据质量检测装置，其特征在于，所述装置包括：
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据质量检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取上游系统产生的业务数据和所述业务数据对应的校验规则，包括：
3.根据权利要求1所述的方法，其特征在于，所述获取上游系统产生的业务数据和所述业务数据对应的校验规则，包括：
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1至4中任意一项所述的方法，其特征在于，每个维度的数据的校验规则包括正则表达式、sql语句和联机接口中的一者或多者；
6.根据权利要求1至4中任意一项所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：李林林，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。