一种数据质量检测方法及装置制造方法及图纸

本公开涉及数据质量领域，特别涉及一种数据质量检测方法及装置，用于提高数据质量检测过程的可扩展性，该方法为：在显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流，若检测任务中包含质量检测任务，则基于质量检测任务对应的质量检测规则，对数据流进行质量检测，其中，质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。这样，通过预设的基础检测模板和用户配置的参数范围生成质量检测规则，而不再是采用固定的质量检测规则，避免了规则更改时进行源码修改，提高了数据质量检测过程的可扩展性，同时，从数据流中进行检测，简化了检测过程，缩短了数据质量检测时间。

【技术实现步骤摘要】
一种数据质量检测方法及装置
本公开涉及数据质量检测领域，特别涉及一种数据质量检测方法及装置。
技术介绍
随着信息技术的发展和大数据时代的到来，数据信息朝着海量、多样化的方向发展，数据质量日益受到各企业以及政府部门的重视。其中，如何对数据质量进行灵活、准确、高效的检测是一个非常值得关注的研究方向。目前，对于数据质量的检测，通常需要开发人员或用户采用特定的程序语言，编写数据检测规则对应的代码，进而根据数据检测规则，对待检测数据进行检测。然而，现有的数据质量检测方式中，若数据检测规则出现更改、增加等变更时，需要开发人员或用户修改源码，因此，可扩展性较差。
技术实现思路
本公开提供了一种数据质量检测方法及装置，用以提高数据质量检测过程的可扩展性。本公开实施例提供的具体技术方案如下：第一方面，一种数据质量检测装置，包括：显示屏，被配置为显示界面；处理器，被配置为：在所述显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。可选的，获取待检测的数据流时，所述处理器被配置为：根据所述检测任务中包含的数据流标识，采用数据实时计算引擎，从数据实时采集引擎中实时获取所述数据流标识对应的数据流，作为待检测的数据流。可选的，基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测时，所述处理器被配置为：采用质量检测引擎，根据所述质量检测任务中配置的至少一个检测字段，基于所述质量检测任务对应的质量检测规则，对所述数据流中的所述至少一个检测字段进行质量检测。可选的，所述检测任务中还包含波动检测任务，获取待检测的数据流之后，所述处理器被配置为：根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率；将所述波动率和所述波动检测任务中配置的波动率阈值进行匹配，确定波动率检测结果。可选的，根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率时，所述处理器被配置为：若所述波动检测任务为表级波动检测任务，则根据所述检测周期，统计获取的数据流的数据总数目，并根据所述基准数量和所述数据总数目，确定表级波动率；若所述波动检测任务为字段级波动检测任务，则根据字段级波动检测任务中配置的指定字段和所述检测周期，统计获取的数据流的指定字段中包含的同一属性值出现的数目，并根据所述基准数量和所述同一属性值出现的数目，确定字段级波动率。第二方面，一种数据质量检测方法，包括：在数据质量检测装置的显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。可选的，获取待检测的数据流，具体包括：根据所述检测任务中包含的数据流标识，采用数据实时计算引擎，从数据实时采集引擎中实时获取所述数据流标识对应的数据流，作为待检测的数据流。可选的，基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测，具体包括：采用质量检测引擎，根据所述质量检测任务中配置的至少一个检测字段，基于所述质量检测任务对应的质量检测规则，对所述数据流中的所述至少一个检测字段进行质量检测。可选的，所述检测任务中还包含波动检测任务，获取待检测的数据流之后，还包括：根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率；将所述波动率和所述波动检测任务中配置的波动率阈值进行匹配，确定波动率检测结果。可选的，根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率时，具体包括：若所述波动检测任务为表级波动检测任务，则根据所述检测周期，统计获取的数据流的数据总数目，并根据所述基准数量和所述数据总数目，确定表级波动率；若所述波动检测任务为字段级波动检测任务，则根据字段级波动检测任务中配置的指定字段，所述检测周期，统计获取的数据流的指定字段中包含的同一属性值出现的数目，并根据所述基准数量和所述同一属性值出现的数目，确定字段级波动率。第三方面，一种数据质量检测装置，包括：配置模块，被配置为在数据质量检测装置的显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；数据实时计算模块，被配置为若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。第四方面，一种存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如上述任一项所述的数据质量检测方法。综上所述，本公开实施例中，在显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流，若检测任务中包含质量检测任务，则基于质量检测任务对应的质量检测规则，对数据流进行质量检测，其中，质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。这样，通过预设的基础检测模板和用户配置的参数范围生成质量检测规则，而不再是采用固定的质量检测规则，避免了规则更改时进行源码修改，提高了数据质量检测过程的可扩展性，同时，从数据流中进行检测，简化了检测过程，缩短了数据质量检测时间。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本公开实施例中提供的一种数据质量检测装置的实体结构示意图；图2为本公开实施例中提供的一种数据质量检测装置的逻辑结构示意图；图3A为本公开实施例中提供的一种配置基础检测模板的配置界面示意图；图3B为本公开实施例中提供的一种配置表级波动检测任务的配置界面示意图；图3C为本公开实施例中提供的一种配置字段级波动检测任务的配置界面示意图；图3D为本公开实施例中提供的一种配置质量检测任务的配置界面示意图；图4为本公开实施例中提供的一种数据质量检测方法的流程示意图。具体实施方式为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所本文档来自技高网...

【技术保护点】
1.一种数据质量检测装置，其特征在于，包括：/n显示屏，被配置为显示界面；/n处理器，被配置为：/n在所述显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；/n若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。/n

【技术特征摘要】
1.一种数据质量检测装置，其特征在于，包括：
显示屏，被配置为显示界面；
处理器，被配置为：
在所述显示屏显示配置界面时，响应于用户配置的检测任务，获取待检测的数据流；
若所述检测任务中包含质量检测任务，则基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测；其中，所述质量检测规则是根据预设的基础检测模板和用户配置的参数范围生成的。


2.如权利要求1所述的装置，其特征在于，获取待检测的数据流时，所述处理器被配置为：
根据所述检测任务中包含的数据流标识，采用数据实时计算引擎，从数据实时采集引擎中实时获取所述数据流标识对应的数据流，作为待检测的数据流。


3.如权利要求1或2所述的装置，其特征在于，基于所述质量检测任务对应的质量检测规则，对所述数据流进行质量检测时，所述处理器被配置为：
采用质量检测引擎，根据所述质量检测任务中配置的至少一个检测字段，基于所述质量检测任务对应的质量检测规则，对所述数据流中的所述至少一个检测字段进行质量检测。


4.如权利要求1或2所述的装置，其特征在于，所述检测任务中还包含波动检测任务，
获取待检测的数据流之后，所述处理器被配置为：
根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率；
将所述波动率和所述波动检测任务中配置的波动率阈值进行匹配，确定波动率检测结果。


5.如权利要求4所述的装置，其特征在于，根据所述波动检测任务中配置的检测周期，获取相应的数据数目，并根据所述波动检测任务中配置的基准数量和所述数据数目，确定相应的波动率时，所述处理器被配置为：
若所述波动检测任务为表级波动检测任务，则根据所述检测周期，统计获取的数据流的数据总数目，并根据所述基准数量和所述数据总数目，确定表级波动率；
若所述波动检测任务为字段级波动检测任务，则根据字段级波动检测任务中配置的指定字段和所述检测周期，统计获取的数据流的指定字段中包含的同一属性值出现的数目，并根据所述基准数量和所述同一属性值出现的数...

【专利技术属性】
技术研发人员：周行，王中伟，李建伟，陈维强，孙永良，于涛，王玮，
申请(专利权)人：青岛海信网络科技股份有限公司，
类型：发明
国别省市：山东;37