数据质量检测方法及系统技术方案

本申请提供数据质量检测方法及系统，其中数据质量检测方法包括：接收用户输入的多个质量检测任务，质量检测任务包括质量检测规则和数据元信息；根据多个质量检测任务的数据元信息，将多个质量检测任务分配给至少一个数据获取单元，质量检测任务中的数据元信息用于数据获取单元获取待处理数据，质量检测任务中的质量检测规则用于对待处理数据进行处理生成质量检测任务的待校验数据，待校验数据存储在数据库中；根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据，第一质量检测任务为多个质量检测任务中的任一个；根据第一质量检测任务中的质量检测规则，对目标待校验数据进行校验，得到数据质量检测结果。结果。结果。

【技术实现步骤摘要】
数据质量检测方法及系统


[0001]本申请涉及计算机
，特别涉及一种数据质量检测方法。本申请同时涉及一种数据质量检测系统，一种数据质量检测装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着计算机技术的不断发展，数据的种类、来源等越来越多样化，而数据的质量，如时效性、一致性等，直接影响统计分析是否能得到正确的结论，数据分析和数据挖掘都离不开高质量的数据，数据质量检测技术运用而生。
[0003]现有技术中，数据质量检测大多都是针对一个数据质量检查规则，借助实时计算框架创建一个特定的任务去消费指定的数据，输出消费结果，最后根据消费结果进行数据质量检测与预警。然而，该方法在数据与数据质量检查规则过多时，需要创建大量的任务，造成处理量过大、资源浪费等问题。因此，亟需一种有效方案以解决上述问题。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种数据质量检测方法。本申请同时涉及一种数据质量检测系统，一种数据质量检测装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的处理量过大、资源浪费的技术缺陷。
[0005]根据本申请实施例的第一方面，提供了一种数据质量检测方法，应用于可视化处理单元，包括：
[0006]接收用户输入的多个质量检测任务，其中，所述质量检测任务包括质量检测规则和数据元信息；
[0007]根据所述多个质量检测任务的数据元信息，将所述多个质量检测任务分配给至少一个数据获取单元，其中，所述质量检测任务中的数据元信息用于所述数据获取单元获取待处理数据，所述质量检测任务中的质量检测规则用于对所述待处理数据进行处理生成所述质量检测任务的待校验数据，所述待校验数据存储在数据库中；
[0008]根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据，其中，所述第一质量检测任务为所述多个质量检测任务中的任一个；
[0009]根据所述第一质量检测任务中的质量检测规则，对所述目标待校验数据进行校验，得到数据质量检测结果。
[0010]可选地，所述数据元信息包括数据标识；
[0011]所述根据所述多个质量检测任务的数据元信息，将所述多个质量检测任务分配给至少一个数据获取单元，包括：
[0012]将所述数据标识相同的质量检测任务分为同一个任务组，并查询各个任务组的数据标识所对应的数据级别；
[0013]根据各个任务组对应的数据级别，将所述各个任务组分配给至少一个数据获取单
元。
[0014]可选地，所述根据各个任务组对应的数据级别，将所述各个任务组分配给至少一个数据获取单元，包括：
[0015]将所述数据级别高于设定阈值的第一任务组，分配给第一数据获取单元，其中，所述第一任务组对应的数据标识用于所述第一数据获取单元获取待处理数据，所述第一任务组中各质量检测任务的质量检测规则分别用于对所述待处理数据进行处理，生成所述第一任务组中各质量检测任务的待校验数据；
[0016]将所述数据级别低于或等于所述设定阈值的至少一个第二任务组，分配给第二数据获取单元，其中，各第二任务组对应的数据标识用于所述第二数据获取单元获取各第二任务组对应的待处理数据。
[0017]可选地，所述根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据之前，还包括：
[0018]将第二质量检测任务的质量检测规则发送至数据库，其中，所述第二质量检测任务为任一第二任务组中的任一质量检测任务，所述第二质量检测任务的质量检测规则用于所述数据库对所述第二质量检测任务对应的待处理数据进行处理，生成并存储所述第二质量检测任务的待校验数据，所述第二质量检测任务对应的待处理数据为所述第二数据获取单元发送。
[0019]可选地，所述方法还包括：
[0020]接收针对所述第一任务组中质量检测规则的第一变更指令，其中，所述第一变更指令携带有变更后的质量检测规则；
[0021]将所述变更后的质量检测规则发送至所述第一数据获取单元，其中，所述变更后的质量检测规则用于所述第一数据获取单元对所述待处理数据进行处理，生成所述第一任务组中各质量检测任务的待校验数据。
[0022]可选地，所述方法还包括：
[0023]接收针对任一第二任务组中数据元信息的第二变更指令，其中，所述第二变更指令携带有变更后的数据元信息；
[0024]将所述变更后的数据元信息发送至所述第二数据获取单元，其中，所述变更后的数据元信息所包含的数据标识用于所述第二数据获取单元获取各第二任务组对应的待处理数据。
[0025]可选地，所述根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据，包括：
[0026]根据第一质量检测任务中的数据元信息，生成针对所述第一质量检测任务对应的待校验数据的读取请求；
[0027]将所述读取请求发送至代理服务单元，其中，所述读取请求用于所述代理服务单元确定目标数据库，从所述目标数据库获取所述读取请求对应的目标待校验数据并反馈给所述可视化处理单元。
[0028]根据本申请实施例的第二方面，提供了一种数据质量检测系统，包括：
[0029]可视化处理单元，用于接收用户输入的多个质量检测任务，其中，所述质量检测任务包括质量检测规则和数据元信息；根据所述多个质量检测任务的数据元信息，将所述多
个质量检测任务分配给至少一个数据获取单元；
[0030]所述数据获取单元，用于根据所述质量检测任务中的数据元信息获取待处理数据，其中，所述质量检测任务中的质量检测规则用于对所述待处理数据进行处理生成所述质量检测任务的待校验数据，所述待校验数据存储在数据库中；
[0031]所述可视化处理单元，还用于根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据，其中，所述第一质量检测任务为所述多个质量检测任务中的任一个；根据所述第一质量检测任务中的质量检测规则，对所述目标待校验数据进行校验，得到数据质量检测结果。
[0032]可选地，所述数据元信息包括数据标识和解析策略；
[0033]所述数据获取单元，还用于根据所述质量检测任务中的数据标识获取初始数据流；根据所述质量检测任务中的解析策略对所述初始数据流进行解析，得到所述质量检测任务对应的待处理数据。
[0034]可选地，所述数据元信息包括数据标识，所述至少一个数据获取单元包括第一数据获取单元和第二数据获取单元；
[0035]所述可视化处理单元，还用于将所述数据标识相同的质量检测任务分为同一个任务组，并查询各个任务组的数据标识所对应的数据级别；将所述数据级别高于设定阈值的第一任务组，分配给第一数据获取单元，将所述数据级别低于或等于所述设定阈值的至少一个第二任务组，分配给第二数据获取单元；
[0036]所述第一数据获取单元，用于根据所述第一任务组对应的数据标识获取待处理数据；根据所述第一任务组中各质量检测任务的质量检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量检测方法，其特征在于，应用于可视化处理单元，包括：接收用户输入的多个质量检测任务，其中，所述质量检测任务包括质量检测规则和数据元信息；根据所述多个质量检测任务的数据元信息，将所述多个质量检测任务分配给至少一个数据获取单元，其中，所述质量检测任务中的数据元信息用于所述数据获取单元获取待处理数据，所述质量检测任务中的质量检测规则用于对所述待处理数据进行处理生成所述质量检测任务的待校验数据，所述待校验数据存储在数据库中；根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据，其中，所述第一质量检测任务为所述多个质量检测任务中的任一个；根据所述第一质量检测任务中的质量检测规则，对所述目标待校验数据进行校验，得到数据质量检测结果。2.根据权利要求1所述的方法，其特征在于，所述数据元信息包括数据标识；所述根据所述多个质量检测任务的数据元信息，将所述多个质量检测任务分配给至少一个数据获取单元，包括：将所述数据标识相同的质量检测任务分为同一个任务组，并查询各个任务组的数据标识所对应的数据级别；根据各个任务组对应的数据级别，将所述各个任务组分配给至少一个数据获取单元。3.根据权利要求2所述的方法，其特征在于，所述根据各个任务组对应的数据级别，将所述各个任务组分配给至少一个数据获取单元，包括：将所述数据级别高于设定阈值的第一任务组，分配给第一数据获取单元，其中，所述第一任务组对应的数据标识用于所述第一数据获取单元获取待处理数据，所述第一任务组中各质量检测任务的质量检测规则分别用于对所述待处理数据进行处理，生成所述第一任务组中各质量检测任务的待校验数据；将所述数据级别低于或等于所述设定阈值的至少一个第二任务组，分配给第二数据获取单元，其中，各第二任务组对应的数据标识用于所述第二数据获取单元获取各第二任务组对应的待处理数据。4.根据权利要求3所述的方法，其特征在于，所述根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据之前，还包括：将第二质量检测任务的质量检测规则发送至数据库，其中，所述第二质量检测任务为任一第二任务组中的任一质量检测任务，所述第二质量检测任务的质量检测规则用于所述数据库对所述第二质量检测任务对应的待处理数据进行处理，生成并存储所述第二质量检测任务的待校验数据，所述第二质量检测任务对应的待处理数据为所述第二数据获取单元发送。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：接收针对所述第一任务组中质量检测规则的第一变更指令，其中，所述第一变更指令携带有变更后的质量检测规则；将所述变更后的质量检测规则发送至所述第一数据获取单元，其中，所述变更后的质量检测规则用于所述第一数据获取单元对所述待处理数据进行处理，生成所述第一任务组中各质量检测任务的待校验数据。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：接收针对任一第二任务组中数据元信息的第二变更指令，其中，所述第二变更指令携带有变更后的数据元信息；将所述变更后的数据元信息发送至所述第二数据获取单元，其中，所述变更后的数据元信息所包含的数据标识用于所述第二数据获取单元获取各第二任务组对应的待处理数据。7.根据权利要求1
‑
6任意一项所述的方法，其特征在于，所述根据第一质量检测任务中的数据元信息，从数据库中获取对应的目标待校验数据，包括：根据第一质量检测任务中的数据元信息，生成针对所述第一质量检测任务对应的待校验数据的读取请求；将所述读取请求发送至代理服务单元，其中，所述读取请求用于所述代理服务单元确定目标数据库，从所述目标数据库获取所述读取请求对应的目标待校验数据并反馈给所述可视化处理单元。8.一种数据质量检测系统，其特征在于，包括...

【专利技术属性】
技术研发人员：王鼎，冯益峰，韩志华，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：