一种表数据质量探查方法及装置制造方法及图纸

本申请提供了一种表数据质量探查方法及装置，其中，该方法包括：获取若干预设属性类别分别对应的校验规则；建立每种所述校验规则与预设字段集的映射关系；基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。本申请能够达到快速准确完成表数据的质量探查，并节约表数据质量的探查成本的效果。

A method and device of table data quality detection

【技术实现步骤摘要】
一种表数据质量探查方法及装置
本申请涉及表数据质量探查
，具体而言，涉及一种表数据质量探查方法及装置。
技术介绍
数据探查是通过对数据集的查询与分析来达到了解数据特征和数据质量的目的。数据探查是数据质量中非常重要的环节，是决定数据正确性关键的一步。数据探查能够为后续数据的ETL提供指导，如需要多少清洗机制、脏数据所占的比率、数据量、数据的结构等信息。而对于结构化数据库表中的数据探查，现有的方式是通过人工写SQL查询指令进行统计分析，这种方式工作量比较繁琐、不够智能、探查效率低，并且人工编写SQL查询指令也容易出错，人工投入的工作量较大，提高了表数据质量的探查成本。
技术实现思路
有鉴于此，本申请的目的在于提供一种表数据质量探查方法及装置，能够达到快速准确完成表数据的质量探查，并节约表数据质量的探查成本的效果。第一方面，本申请实施例提供了一种表数据质量探查方法，包括：获取若干预设属性类别分别对应的校验规则；建立每种所述校验规则与预设字段集的映射关系；基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，在获取若干预设属性类别分别对应的校验规则之前，还包括：利用若干预设属性类别分别对应的校验规则构建校验规则库。结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，在构建所述校验规则库之后，还包括：接收对所述校验规则库的编辑指令，并基于所述编辑指令对所述校验规则库进行编辑；其中，所述编辑指令包括：用于修改所述校验规则库的校验规则的修改指令和/或用于增加自定义校验规则的增加指令。结合第一方面，本申请实施例提供了第三方面的第一种可能的实施方式，其中，基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段，包括：确定待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离；从多个所述编辑距离中确定最小编辑距离；若所述最小编辑距离对应所述预设字段集中的一个表字段，则确定该表字段为目标表字段；若所述最小编辑距离对应所述预设字段集中的至少两个表字段，则随机选取所述至少两个表字段中的一个表字段作为目标表字段。结合第一方面，本申请实施例提供了第一方面的第四种可能的实施方式，其中，根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则，包括：根据每种所述校验规则与预设字段集的映射关系，为所述目标表字段推荐校验规则；将推荐的校验规则确定为所述目标表字段对应的校验规则。结合第一方面，本申请实施例提供了第一方面的第五种可能的实施方式，其中，根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则，包括：根据每种所述校验规则与预设字段集的映射关系，为所述目标表字段推荐校验规则；接收对推荐的校验规则的调整指令，并基于所述调整指令对推荐的校验规则进行调整；将调整后的校验规则确定为所述目标表字段对应的校验规则。结合第一方面，本申请实施例提供了第一方面的第六种可能的实施方式，其中，利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查，包括：利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据逐条进行质量探查；在对所有表数据进行质量探查后，得到表数据的以下至少一项质量探查结果：表数据总量、不合法字段数、不合法字段所占比例、表字段对应的校验规则。第二方面，本申请实施例还提供一种表数据质量探查装置，包括：规则获取模块，用于获取若干预设属性类别分别对应的校验规则；映射建立模块，用于建立每种所述校验规则与预设字段集的映射关系；第一确定模块，用于基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；第二确定模块，用于根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；质量探查模块，用于利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面中任一种可能的实施方式的步骤。第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面中任一种可能的实施方式的步骤。本申请实施例提供的一种表数据质量探查方法及装置，采用建立多种校验规则与预设字段集的映射关系，基于待探查的表字段与预设字段集中的表字段之间的编辑距离来确定目标表字段，基于所述映射关系确定所述目标表字段对应的校验规则，并利用该校验规则对待探查的表字段的实例数据进行质量探查。与现有技术中的通过人工写SQL查询指令进行统计分析相比，本申请可以快速准确完成表数据的质量探查，从而提高了数据探查效率和数据探查准确率，且无需人工编写SQL查询指令进行统计分析，从而节约表数据质量的探查成本。为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本申请实施例提供的一种表数据质量探查方法的流程图；图2示出了本申请实施例提供的一种表数据质量探查装置的结构示意图；图3示出了本申请实施例提供的一种电子设备的结构示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多本文档来自技高网...

【技术保护点】
1.一种表数据质量探查方法，其特征在于，包括：/n获取若干预设属性类别分别对应的校验规则；/n建立每种所述校验规则与预设字段集的映射关系；/n基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；/n根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；/n利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。/n

【技术特征摘要】
1.一种表数据质量探查方法，其特征在于，包括：
获取若干预设属性类别分别对应的校验规则；
建立每种所述校验规则与预设字段集的映射关系；
基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段；
根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则；
利用所述目标表字段对应的校验规则，对所述待探查的表字段的实例数据进行质量探查。


2.根据权利要求1所述的方法，其特征在于，在获取若干预设属性类别分别对应的校验规则之前，还包括：
利用若干预设属性类别分别对应的校验规则构建校验规则库。


3.根据权利要求2所述的方法，其特征在于，在构建所述校验规则库之后，还包括：
接收对所述校验规则库的编辑指令，并基于所述编辑指令对所述校验规则库进行编辑；
其中，所述编辑指令包括：用于修改所述校验规则库的校验规则的修改指令和/或用于增加自定义校验规则的增加指令。


4.根据权利要求1所述的方法，其特征在于，基于待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离，来确定所述待探查的表字段对应的所述预设字段集中的目标表字段，包括：
确定待探查的表字段与所述预设字段集中的多个表字段之间的编辑距离；
从多个所述编辑距离中确定最小编辑距离；
若所述最小编辑距离对应所述预设字段集中的一个表字段，则确定该表字段为目标表字段；
若所述最小编辑距离对应所述预设字段集中的至少两个表字段，则随机选取所述至少两个表字段中的一个表字段作为目标表字段。


5.根据权利要求1所述的方法，其特征在于，根据每种所述校验规则与预设字段集的映射关系，确定所述目标表字段对应的校验规则，包括：
根据每种所述校验规则与预设字段集的映射关系，为所述目标表字段推荐校验规则；
将推荐的校验规则确定为所述目标表字段对应的校验规则。

【专利技术属性】
技术研发人员：堵新政，张毅然，
申请(专利权)人：北京明略软件系统有限公司，
类型：发明
国别省市：北京;11