数据监控方法、装置、计算机设备、存储介质和产品制造方法及图纸

本申请涉及一种数据监控方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：响应针对数据质量监控任务的质量监控触发事件，当对数据质量监控任务预配置的至少一个质量监控条件中存在字段质量检验条件、字段质量检验条件针对字段质量检验条件对应的检验字段指示有字段值检验条件，针对数据质量监控任务所监控的目标数据表中检验字段下的多行数据，对符合字段值检验条件的数据统计数据行数；根据数据行数，确定字段检验结果；基于字段检验结果，确定数据质量监控任务的任务结果；当任务结果表征对目标数据表的表质量检验未通过，向订阅数据质量监控任务的用户对应的终端发送质量异常告警提示。采用本方法能够提高数据表的数据质量。高数据表的数据质量。高数据表的数据质量。

【技术实现步骤摘要】
数据监控方法、装置、计算机设备、存储介质和产品


[0001]本申请涉及数据处理
，特别是涉及一种数据监控方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着互联网技术的发展，互联网数据呈爆炸式增长，对数据的收集、处理和分析需求也日益增加，大数据技术应运而生。大数据技术是指的是用于处理、分析和管理大规模数据集的技术和工具。目前，各企业建立了大数据平台，在大数据平台中，常常以数据表为单位存储数据，且定期对数据表进行数据更新。通过使用大数据平台中的数据进行分析，可挖掘数据价值，帮助企业业务发展。
[0003]然而，大数据平台中存储的数据存在数据质量低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据表的数据质量的数据监控方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据监控方法。所述方法包括：响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
[0006]第二方面，本申请还提供了一种数据监控装置。所述装置包括：任务触发模块，用于响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；字段质量检验模块，用于当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述
数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；任务结果获取模块，用于基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；告警模块，用于当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
[0007]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
[0008]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
[0009]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；
当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。
[0010]上述数据监控方法、装置、计算机设备、存储介质和计算机程序产品，数据质量监控任务预配置有至少一个质量监控条件，至少一个质量监控条件中可存在字段质量检验条件，字段质量检验条件可指示有针对检验字段的字段值检验条件，针对数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数，从而可获得目标数据表在所述字段质量检验条件下的字段检验结果，实现对目标数据表中检验字段的质量监控；而且基于字段检验结果确定数据质量监控任务的任务结果，在目标数据表处于表质量检验未通过时，向用户发送告警提示，使得用户可及时处理目标数据表的数据质量问题，可提高目标数据表的数据质量。
附图说明
[0011]图1为一个实施例中数据监控方法的应用环境图；图2为一个实施例中数据监控方法的流程示意图；图3为一个实施例中数据质量监控架构示意图；图4为一个实施例中数据质量监控任务的信息表逻辑示意图；图5为一个实施例中数据质量监控流程示意图；图6为一个实施例中数据质量监控配置界面示意图；图7为一个实施例中质量监控结果界面示意图；图8为一个实施例中质量监控告警界面示意图；图9为一个实施例中数据监控装置的结构框图；图10为一个实施例中计算机设备的内部结构图。
具体实施方式
[0012]为了使本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据监控方法，其特征在于，所述方法包括：响应于针对数据质量监控任务的质量监控触发事件，获取对所述数据质量监控任务预配置的至少一个质量监控条件；当所述至少一个质量监控条件中存在字段质量检验条件，确定所述字段质量检验条件对应的预配置的检验字段；当所述字段质量检验条件针对所述检验字段指示有字段值检验条件，针对所述数据质量监控任务所监控的目标数据表中所述检验字段下的多行数据，对符合所述字段值检验条件的数据统计数据行数；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果；基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果；当所述任务结果表征对所述目标数据表的表质量检验未通过，向订阅所述数据质量监控任务的用户对应的终端发送质量异常告警提示。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的字段检验结果，包括：获取对所述字段质量检验条件配置的预设行数指标值范围；根据所述数据行数，确定所述目标数据表在所述字段质量检验条件下的行数指标值；当所述行数指标值在所述预设行数指标值范围内，确定所述目标数据表在所述字段质量检验条件下的字段检验结果表征字段质量检验通过；当所述行数指标值在所述预设行数指标值范围之外，确定所述目标数据表在所述字段质量检验条件下的字段检验结果表征字段质量检验未通过。3.根据权利要求2所述的方法，其特征在于，当所述至少一个质量监控条件中每个质量监控条件均是字段质量检验条件，所述基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述数据质量监控任务的任务结果，包括：基于所述目标数据表在所述字段质量检验条件下的字段检验结果，确定所述目标数据表在所述至少一个质量监控条件中每个字段质量检验条件下的字段检验结果；当所述目标数据表在所述至少一个质量监控条件中每个字段质量检验条件下的字段检验结果均表征字段质量检验通过，确定所述数据质量监控任务的任务结果表征对所述目标数据表的表质量检验通过；当所述目标数据表在所述至少一个质量监控条件中任一字段质量检验条件下的字段检验结果表征字段质量检验未通过，确定所述数据质量监控任务的任务结果表征对所述目标数据表的表质量检验未通过。4.根据权利要求1所述的方法，其特征在于，所述方法还...

【专利技术属性】
技术研发人员：张民遐，孙志伟，
申请(专利权)人：深圳高灯计算机科技有限公司，
类型：发明
国别省市：