数据质量监控的方法、装置、电子设备以及存储介质制造方法及图纸

本申请涉及数据质量监控的方法。方法包括：获取包含有业务数据所对应历史数据的待处理数据表，待处理数据表包括第一数据表，第一数据表中含有第一字段；根据第一字段对应的数据类型获取规则模板集合，规则模板集合中含有至少一个待匹配数据规则，每个待匹配数据规则包括检测条件和检测规则；若第一数据表中存在符合目标检测条件的第一目标数据行，并且第一目标数据行中对应于第一字段的数据均符合目标检测规则，则将目标检测条件和目标检测规则所隶属的待匹配数据规则确定为目标数据规则；根据目标数据规则，对业务数据进行数据质量监控。该方法中新规则的确定由系统自动完成，从而降低数据质量监控消耗的人力资源，提升数据质量监控效率。质量监控效率。质量监控效率。

【技术实现步骤摘要】
数据质量监控的方法、装置、电子设备以及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据质量监控的方法、装置、电子设备以及存储介质。

技术介绍

[0002]在网络平台上，每天都有大量的数据产生。这些数据分布在不同存储平台的各类存储结构中。对于这些数据的使用质量，成为了大数据分析中非常重要的因素。处理流程中某一个步骤的疏漏可能会导致对于同一组信息在不同存储平台中不一致，使得对于数据分析得到的结果不准确，甚至造成负面影响。因此监控数据准确性和一致性是必要的。
[0003]目前，在数据质量的管理和监控中，对于所收集到的业务数据，通常由人工配置检查规则并且设定对应的定时任务。定时任务根据检查规则对业务数据进行计算和检查，并且根据检查结果发送告警通知。
[0004]然而，由于业务数据的规律是动态变化的，因此新规则的确定和配置需要根据相关领域的专业知识进行大量的分析和业务梳理工作，使得数据质量监控消耗大量人力，成本较高，监控效率低。

技术实现思路

[0005]基于上述技术问题，本申请提供一种数据质量监控方法，以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量监控方法，其特征在于，包括：获取包含有业务数据所对应历史数据的待处理数据表，所述待处理数据表包括第一数据表，所述第一数据表中含有第一字段；根据所述第一字段对应的数据类型获取规则模板集合，所述规则模板集合中含有至少一个待匹配数据规则，每个待匹配数据规则包括检测条件和检测规则；若所述第一数据表中存在符合目标检测条件的第一目标数据行，并且所述第一目标数据行中对应于所述第一字段的数据符合目标检测规则，则将所述目标检测条件和所述目标检测规则所隶属的待匹配数据规则确定为目标数据规则；根据所述目标数据规则，对所述业务数据进行数据质量监控。2.根据权利要求1所述的方法，其特征在于，所述待处理数据表还包括第二数据表，所述第二数据表中含有第二字段，所述第二字段与所述第一字段相同；在所述获取包含有业务数据所对应历史数据的待处理数据表之后，所述方法还包括：对所述第一数据表和所述第二数据表进行表连接，得到连接数据表；若所述连接数据表中存在符合所述目标检测条件的第二目标数据行，并且所述第二目标数据行中对应于所述第一字段的数据以及对应于所述第二字段的数据均符合所述目标检测规则，则将所述目标检测条件和所述目标检测规则所隶属的待匹配数据规则确定为目标数据规则。3.根据权利要求1或2所述的方法，其特征在于，所述待处理数据表是针对历史数据表集合进行分片处理得到的数据分片；所述方法还包括：获取符合所述目标检测条件和所述目标检测规则所隶属待匹配数据规则的数据分片数量，并获取所述数据分片数量与所述历史数据表集合中全部数据分片的数量之间的比值；若所述比值大于预设规则输出阈值，则将所述目标检测条件和所述目标检测规则所隶属的待匹配数据规则确定为目标数据规则。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述连接数据表中存在符合所述目标检测条件的第二目标数据行，获取所述第二目标数据行中对应于所述第一字段的第一目标数据和对应于所述第二字段的第二目标数据；若所述第一目标数据和所述第二目标数据均符合所述目标检测规则中规定的预设数学关系，则将所述待匹配数据规则确定为目标数据规则。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据符合所述目标检测条件和所述目标检测规则所隶属的所述...

【专利技术属性】
技术研发人员：张彭景，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：