【技术实现步骤摘要】
本申请涉及数据处理，具体涉及一种数据质量检测方法、装置、电子设备及计算机存储介质。
技术介绍
1、当前，在数据埋点接入、动态数据接入场景中，数据的质量问题会直接影响到线上底层基础数据以及业务指标数据的准确性。在数据处理时，通常只有通过经过业务代码中的处理逻辑时才能感知到数据错误、缺失等数据质量问题。同时对应的数据质量问题通常会以报错日志等方式暴露，该数据质量检测方式效率低下。并且，在新的数据未被数据质量检测规则覆盖，或对异常数据进行处理时，往往需要重新对数据规则进行提取，重新打包发布，亦会导致数据质量检测效率低下的问题。
技术实现思路
1、本申请实施例提供一种数据质量检测方法、装置、电子设备及计算机存储介质，可以解决数据质量检测效率低下的技术问题。
2、本申请实施例提供一种数据质量检测方法，包括：
3、基于目标数据处理库从目标数据源读取待检测数据，并获取所述待检测数据对应的质量检测指标；
4、根据所述质量检测指标对所述待检测数据进行质量评估，得到目标评估结果；
5、若所述目标评估结果为所述待检测数据是异常数据，则获取所述异常数据的异常等级，按照所述异常等级对所述异常数据进行告警。
6、进一步的，上述基于目标数据处理库从目标数据源读取待检测数据，包括：
7、获取所述待检测数据的标签信息，以及所述待检测数据在所述目标数据源的连接信息；
8、在所述目标数据处理库中根据所述标签信息和所述连接信息，从所述目标
9、进一步的，上述获取所述待检测数据对应的质量检测指标，包括：
10、获取所述待检测数据的检测维度，以及所述待检测数据所属业务的业务信息；
11、根据所述检测维度和所述业务信息，确定所述待检测数据对应的质量检测指标。
12、进一步的，上述根据所述质量检测指标对所述待检测数据进行质量评估，得到目标评估结果，包括：
13、根据所述质量检测指标对所述待检测数据进行初始质量评估，得到初始评估值；
14、在预设的评估周期内对所述初始评估值进行统计，得到所述待检测数据对应的目标评估结果。
15、进一步的，上述质量检测指标包括多个子检测指标，所述根据所述质量检测指标对所述待检测数据进行初始质量评估，得到初始评估值，包括：
16、计算所述待检测数据在各所述子检测指标的子评估值；
17、根据所述子评估值和所述子评估值对应的预设评估系数，确定所述待检测数据的初始评估值。
18、进一步的，上述在预设的评估周期内对所述初始评估值进行统计，得到所述待检测数据对应的目标评估结果，包括：
19、获取所述待检测数据在所述评估周期内不同评估时段的检测数据量；
20、根据所述检测数据量对各所述评估时段的初始评估值进行统计，得到所述待检测数据对应的目标评估结果。
21、进一步的，在上述按照所述异常等级对所述异常数据进行告警之后，还包括：
22、根据预设的目标接口对存储所述质量检测指标的数据库进行监控；
23、当检测到所述数据库存在指标更新时，获取目标更新指标，将所述目标更新指标对应的变更信息存储至所述待检测数据对应的容器中。
24、相应地，本申请实施例提供一种数据质量检测装置，包括：
25、读取模块，用于基于目标数据处理库从目标数据源读取待检测数据，并获取所述待检测数据对应的质量检测指标；
26、评估模块，用于根据所述质量检测指标对所述待检测数据进行质量评估，得到目标评估结果；
27、告警模块，用于若所述目标评估结果为所述待检测数据是异常数据，则获取所述异常数据的异常等级，按照所述异常等级对所述异常数据进行告警。
28、此外，本申请实施例还提供一种电子设备，包括处理器和存储器，上述存储器存储有计算机程序，上述处理器用于运行上述存储器内的计算机程序实现本申请实施例提供的数据质量检测方法。
29、此外，本申请实施例还提供一种计算机存储介质，上述计算机存储介质存储有计算机程序，上述计算机程序适于处理器进行加载，以执行本申请实施例所提供的任一种数据质量检测方法。
30、此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本申请实施例所提供的任一种数据质量检测方法。
31、在本申请实施例中，通过基于目标数据处理库从目标数据源读取待检测数据，并获取待检测数据对应的质量检测指标，使得通过该目标数据处理库和目标数据源能够对数据的零侵入式的质量检测；之后，根据质量检测指标对待检测数据进行质量评估，得到目标评估结果，实现了对待检测数据的精确评估；若目标评估结果为待检测数据是异常数据，则获取异常数据的异常等级，按照异常等级对异常数据进行告警，实现了无侵入式实时数据质量检测，减少了异常数据排查时长，提高了异常数据检测效率和异常数据识别准确率。
本文档来自技高网...【技术保护点】
1.一种数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的数据质量检测方法，其特征在于，所述基于目标数据处理库从目标数据源读取待检测数据，包括：
3.根据权利要求1所述的数据质量检测方法，其特征在于，所述获取所述待检测数据对应的质量检测指标，包括：
4.根据权利要求1所述的数据质量检测方法，其特征在于，所述根据所述质量检测指标对所述待检测数据进行质量评估，得到目标评估结果，包括：
5.根据权利要求4所述的数据质量检测方法，其特征在于，所述质量检测指标包括多个子检测指标，所述根据所述质量检测指标对所述待检测数据进行初始质量评估，得到初始评估值，包括：
6.根据权利要求4所述的数据质量检测方法，其特征在于，所述在预设的评估周期内对所述初始评估值进行统计，得到所述待检测数据对应的目标评估结果，包括：
7.根据权利要求1所述的数据质量检测方法，其特征在于，在所述按照所述异常等级对所述异常数据进行告警之后，还包括：
8.一种数据质量检测装置，其特征在于，包括：
9.一种电子设备，其特
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至7任一项所述的数据质量检测方法。
...【技术特征摘要】
1.一种数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的数据质量检测方法，其特征在于，所述基于目标数据处理库从目标数据源读取待检测数据，包括：
3.根据权利要求1所述的数据质量检测方法，其特征在于，所述获取所述待检测数据对应的质量检测指标，包括：
4.根据权利要求1所述的数据质量检测方法，其特征在于，所述根据所述质量检测指标对所述待检测数据进行质量评估，得到目标评估结果，包括：
5.根据权利要求4所述的数据质量检测方法，其特征在于，所述质量检测指标包括多个子检测指标，所述根据所述质量检测指标对所述待检测数据进行初始质量评估，得到初始评估值，包括：
6.根据权利要求4所述的数据质...
【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：深圳TCL新技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。