本申请提供了一种数据质量监控方法、装置、电子设备及存储介质，该方法包括：响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。本申请用户自行选择所需要监控的数据、监控规则和告警对象，有效提升了监控规则配置效率，提高了异常数据的处理效率，保证了数据的质量。数据的质量。数据的质量。
【技术实现步骤摘要】
一种数据质量监控方法、装置、电子设备及存储介质
[0001]本申请涉及数据处理
，具体而言，涉及一种数据质量监控方法、装置、电子设备及存储介质。
技术介绍
[0002]数据质量，是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。在信息化和大数据时代，公司的经营和日常运营对数据的需求日益增多，尤其是对数据质量的要求越来越高。对于数据质量的把控能够直接影响到公司的经济效益，甚至是公司的生存。
[0003]在现有技术中，大部分公司使用的数据平台都是通过调度系统在完成任务的时候，提供任务完成情况的通知。通过该通知能够了解任务完成的结果，不能及时发现数据存在的问题，时效性差，不足以满足公司日益增长的数据质量的需求。
技术实现思路
[0004]有鉴于此，本申请的目的在于提供一种数据质量监控方法、装置、电子设备及存储介质，有效提升了监控规则配置效率，提高了异常数据的处理效率，保证了数据的质量。
[0005]第一方面，本申请实施例提供了一种数据质量监控方法，所述方法包括：
[0006]响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；
[0007]根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；
[0008]若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；
[0009]在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。
[0010]在本申请一些技术方案中，上述方法还包括：
[0011]若所述目标数据未按时生成，得到所述目标数据未按时生成的监控结果；
[0012]在所述图形用户界面显示所述监控结果，并将所述监控结果通知目标用户。
[0013]在本申请一些技术方案中，上述图形用户界面显示预设的待选监控规则信息、预设的待选数据表格信息和预设的待选对象信息；所述信息确认操作包括：信息输入操作和信息选择操作；
[0014]通过以下方式确定目标数据表格、目标监控规则和告警对象：
[0015]响应用户针对表格属性信息的信息输入操作，根据用户输入的所述表格属性信息确定所述目标数据表格；
[0016]和/或，响应用户针对待选数据表格信息的信息选择操作，从所述待选数据表格中确定所述目标数据表格；
[0017]响应用户针对监控规则的信息输入操作，获取用户输入的目标监控规则；
[0018]和/或，响应用户针对待选监控规则信息的信息选择操作，从所述待选监控规则中确定所述目标监控规则；
[0019]响应用户针对对象属性信息的信息输入操作，根据用户输入的所述对象属性信息确定所述告警对象；
[0020]和/或，响应用户针对待选对象信息的信息选择操作，从所述待选监控规则中确定所述告警对象。
[0021]在本申请一些技术方案中，在确定了所述目标数据表格之后，所述方法还包括：
[0022]根据预设的存储分区与数据表格的映射关系和所述目标数据表格，确定所述目标数据表格的目标分区；
[0023]所述根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成，包括：
[0024]针对所述目标分区进行监控，若所述目标分区已构建完成，所述目标数据表格按时生成；
[0025]针对按时生成的所述目标数据表格是否包含数据进行监控，若所述目标数据表格中包含有数据，则所述目标数据按时生成。
[0026]在本申请一些技术方案中，若所述目标数据表格数量为一个或者所述目标数据表格为多个且任意两个目标数据表格之间没有关联关系，所述目标监控规则包括：唯一性规则、完整性规则和波动合理性规则；
[0027]若所述目标数据表格为多个且任意两个目标数据表格之间具有关联关系，所述目标监控规则包括一致性规则。
[0028]在本申请一些技术方案中，上述目标监控规则为所述唯一性规则时，通过以下方式进行监控：
[0029]对所述目标数据表格包含的表字段进行第一聚类操作，得到每个表字段的第一聚类结果；所述第一聚类结果中包含各个表字段和该表字段内容的数量；
[0030]根据所述每个表字段内容的数量与预设数量阈值进行对比，确定所述目标数据表格中各个目标数据的唯一性；
[0031]所述目标监控规则为所述完整性规则时，通过以下方式进行监控：
[0032]通过预设的完整性检测方法对所述目标数据表格中的各个目标数据进行检测，得到各个所述目标数据对应的结果标识；
[0033]根据各个所述目标数据对应的结果标识，确定所述目标数据表格中各个目标数据是否完整；
[0034]所述目标监控规则为所述波动合理性规则时，通过以下方式进行监控：
[0035]通过预设的波动检测方式对所述目标数据表格包含的表字段进行检测，得到所述目标数据表格包含的表字段对应的波动值；
[0036]根据所述目标数据表格包含的表字段对应的波动值和预设的合理波动区间，确定所述目标数据表格是否处于合理波动区间。
[0037]在本申请一些技术方案中，上述目标监控规则为所述一致性规则时，通过以下方式进行监控：
[0038]对每个所述目标数据表格分别进行第二聚类操作，得到所述目标数据表格的第二
聚类结果；所述第二聚类结果包括所述目标数据表格中各个表字段的聚合值；
[0039]通过对比任意两个所述目标数据表格的所述第二聚类结果中的聚合值，确定两个所述目标数据表格之间是否具有一致性。
[0040]第二方面，本申请实施例提供了一种数据质量监控装置，终端设备提供图形用户界面，所述装置包括：
[0041]响应模块，用于响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；
[0042]检测模块，用于根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；
[0043]若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；
[0044]告警模块，用于在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。
[0045]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据质量监控方法的步骤。
[0046]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的数据质量监控方法的步骤。
[0047]本申请的实施例提供的技术方案可以包括以下有益效果本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据质量监控方法，其特征在于，通过终端设备提供图形用户界面；所述方法包括：响应用户的信息确定操作，确定包含有待监控目标数据的目标数据表格、针对所述目标数据的目标监控规则和告警对象；根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成；若所述目标数据按时生成，按照所述目标监控规则对所述目标数据进行监控，得到基于所述目标监控规则对于所述目标数据进行监控的监控结果；在所述图形用户界面显示所述监控结果，并将所述监控结果通知所述告警对象。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：若所述目标数据未按时生成，得到所述目标数据未按时生成的监控结果；在所述图形用户界面显示所述监控结果，并将所述监控结果通知目标用户。3.根据权利要求1所述的方法，其特征在于，所述图形用户界面显示预设的待选监控规则信息、预设的待选数据表格信息和预设的待选对象信息；所述信息确认操作包括：信息输入操作和信息选择操作；通过以下方式确定目标数据表格、目标监控规则和告警对象：响应用户针对表格属性信息的信息输入操作，根据用户输入的所述表格属性信息确定所述目标数据表格；和/或，响应用户针对待选数据表格信息的信息选择操作，从所述待选数据表格中确定所述目标数据表格；响应用户针对监控规则的信息输入操作，获取用户输入的目标监控规则；和/或，响应用户针对待选监控规则信息的信息选择操作，从所述待选监控规则中确定所述目标监控规则；响应用户针对对象属性信息的信息输入操作，根据用户输入的所述对象属性信息确定所述告警对象；和/或，响应用户针对待选对象信息的信息选择操作，从所述待选监控规则中确定所述告警对象。4.根据权利要求1所述的方法，其特征在于，在确定了所述目标数据表格之后，所述方法还包括：根据预设的存储分区与数据表格的映射关系和所述目标数据表格，确定所述目标数据表格的目标分区；所述根据预设的时效监控规则，对待监控的所述目标数据进行时效性检测,确定所述目标数据是否按时生成，包括：针对所述目标分区进行监控，若所述目标分区已构建完成，所述目标数据表格按时生成；针对按时生成的所述目标数据表格是否包含数据进行监控，若所述目标数据表格中包含有数据，则所述目标数据按时生成。5.根据权利要求1所述的方法，其特征在于，若所述目标数据表格数量为一个或者所述目标数据表格为多个且任意两个目标数据表格之间没有关联关系，所述目标监控规则包
括：唯一性规则、完整性规则和波动合理性规则；若所述目标数据表格为多个且任意两个目标数据表格之间具有关联关系，所述目标...
【专利技术属性】
技术研发人员：孟恒，
申请(专利权)人：江苏银承网络科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。