一种数据质量检验方法和装置制造方法及图纸

技术编号:19319695 阅读:25 留言:0更新日期:2018-11-03 10:35
本发明专利技术提供了一种数据质量检验方法和装置,其中,该方法包括:预先设置至少两种检验公式,还包括:确定待检验数据;在所述至少两种检验公式中,确定至少两种当前检验公式;根据所述至少两种当前检验公式,生成当前检验规则;根据所述当前检验规则,对所述待检验数据进行检验。当检验需求发生变化时,本发明专利技术提供的方案不需要重新编写检验规则,能够节省时间。

Data quality checking method and device

The invention provides a data quality inspection method and device, which includes: setting at least two inspection formulas in advance, and also including: determining the data to be tested; determining at least two current inspection formulas in at least two inspection formulas; and generating the current inspection formulas according to at least two current inspection formulas. The inspection rules are inspected according to the current inspection rules. When the inspection requirement changes, the scheme provided by the invention does not need to rewrite the inspection rules and saves time.

【技术实现步骤摘要】
一种数据质量检验方法和装置
本专利技术涉及计算机
,特别涉及一种数据质量检验方法和装置。
技术介绍
随着信息技术的发展,企业系统中形成了不同类型的数据,这些数据可能存在重复、不完整、不准确等情况。如何从大量的数据中筛选出这些存在问题的数据,是企业一直关注的问题。现有技术中,一般通过编写的检验规则对数据字典中的数据进行检验。但是,现有的检验规则是固定的,当检验需求发生变化时,需要重新编写检验规则,需要花费较长的时间。
技术实现思路
本专利技术实施例提供了一种数据质量检验方法和装置,当检验需求发生变化时,不需要重新编写检验规则,能够节省时间。第一方面,本专利技术实施例提供了一种数据质量检验方法,预先设置至少两种检验公式,还包括:确定待检验数据;在所述至少两种检验公式中,确定至少两种当前检验公式;根据所述至少两种当前检验公式,生成当前检验规则;根据所述当前检验规则,对所述待检验数据进行检验。优选地,在所述根据所述当前检验规则,对所述待检验数据进行检验之前,进一步包括:确定与所述待检验数据相关联的关联数据;所述根据所述当前检验规则,对所述待检验数据进行检验,包括:根据所述当前检验规则和所述关联数据,对所述待检验数据进行检验;其中,所述关联数据中包括与所述待检验数据相关联的表名称、字段名称、常量数值和变量参数名中任意一种或多种的组合。优选地,在所述根据所述当前检验规则,对所述待检验数据进行检验之后,进一步包括:对不满足所述当前检验规则的所述待检验数据进行统计;利用列表方式对统计结果进行展示。第二方面,本专利技术实施例提供了一种数据质量检验装置,包括:设置单元,用于设置至少两种检验公式;确定单元,用于确定待检验数据,在所述设置单元设置的所述至少两种检验公式中,确定至少两种当前检验公式;生成单元,用于根据所述至少两种当前检验公式,生成当前检验规则;检验单元,用于根据所述当前检验规则,对所述待检验数据进行检验。优选地,所述确定单元,进一步用于确定与所述待检验数据相关联的关联数据;所述检验单元,用于根据所述当前检验规则和所述关联数据,对所述待检验数据进行检验;其中,所述关联数据中包括与所述待检验数据相关联的表名称、字段名称、常量数值和变量参数名中任意一种或多种的组合。优选地,进一步包括:统计单元,用于对不满足所述当前检验规则的所述待检验数据进行统计;展示单元,用于利用列表方式对所述统计单元得到的统计结果进行展示。第三方面,本专利技术实施例提供了一种可读介质,包括执行指令,当存储控制器的处理器执行所述执行指令时,所述存储控制器执行上述任一实施例所述的方法。第四方面,本专利技术实施例提供了一种存储控制器,包括:处理器、存储器和总线;所述存储器用于存储执行指令,所述处理器与所述存储器通过所述总线连接,当所述存储控制器运行时,所述处理器执行所述存储器存储的所述执行指令,以使所述存储控制器执行上述任一实施例所述的方法。本专利技术实施例提供了一种数据质量检验方法和装置,其中,该方法预先设置多种不同的检验公式,对于不同的待检验数据,可以分别从众多的检验公式中选择满足需求的检验公式组成检验规则,并通过检验规则对相应的待检验数据进行检验。当检验需求发生变化时,本专利技术提供的方案只需要重新选择检验公式而不需要重新编写检验规则,能够节省时间。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本专利技术一个实施例提供的一种数据质量检验方法的流程图;图2是本专利技术另一个实施例提供的一种数据质量检验方法的流程图;图3是本专利技术一个实施例提供的一种数据质量检验装置的结构示意图;图4是本专利技术另一个实施例提供的一种数据质量检验装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例,基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本专利技术保护的范围。如图1所示,本专利技术实施例提供了一种数据质量检验方法,该方法可以包括以下步骤:步骤101:设置至少两种检验公式;步骤102:确定待检验数据;步骤103:在至少两种检验公式中,确定至少两种当前检验公式;步骤104:根据至少两种当前检验公式,生成当前检验规则;步骤105:根据当前检验规则,对待检验数据进行检验。该方法预先设置多种不同的检验公式,对于不同的待检验数据,可以分别从众多的检验公式中选择满足需求的检验公式组成检验规则,并通过检验规则对相应的待检验数据进行检验。当检验需求发生变化时,本专利技术提供的方案只需要重新选择检验公式而不需要重新编写检验规则,能够节省时间。在本专利技术的一个实施例中,在根据当前检验规则,对待检验数据进行检验之前,进一步包括:确定与待检验数据相关联的关联数据;根据当前检验规则,对待检验数据进行检验,包括:根据当前检验规则和关联数据,对待检验数据进行检验;其中,关联数据中包括与待检验数据相关联的表名称、字段名称、常量数值和变量参数名中任意一种或多种的组合。在本专利技术的一个实施例中,在根据当前检验规则,对待检验数据进行检验之后,进一步包括:对不满足当前检验规则的待检验数据进行统计;利用列表方式对统计结果进行展示。对检验得到的存在问题的数据通过列表方式更加直观地进行展示。如图2所示,本专利技术实施例将对数据质量检验方法进行详细地说明,该方法包括以下步骤:步骤201:设置四种检验公式。设置检验公式A、B、C、D。例如,检验公式为“校验码”公式,用于对“客户”字典中的“组织机构代码”字段进行检验。步骤202:确定待检验数据。待检验数据为数据字典的一个或多个字段。例如,“客户”字典中的“组织机构代码”字段进行检验。步骤203:在四种检验公式中,确定两种当前检验公式。将检验公式A、B作为当前检验公式。步骤204:根据两种当前检验公式,生成当前检验规则。根据当前检验公式A、B,生成当前检验规则S。步骤205:确定与待检验数据相关联的关联数据。步骤206:根据当前检验规则和关联数据,对待检验数据进行检验。其中,关联数据中包括与待检验数据相关联的表名称、字段名称、常量数值和变量参数名中任意一种或多种的组合。即判断待检验数据和关联数据是否满足当前检验规则。调用方法如下:步骤207:对不满足当前检验规则的待检验数据进行统计。例如,统计组织机构代码为空或者组织机构代码错误等情况。步骤208:利用列表方式对统计结果进行展示。调用方法如下:在实际应用场景中,可以由选择的结果生成数据库SQL语句(StructuredQueryLanguage,结构化查询语言),也可以由人为录入的方式形成数据库SQL语句,并通过执行数据库SQL语句进行数据质量检验过程。如图3所示,本专利技术实施例提供了一种数据质量检验装置,包括:设置单元301,用于设置至少两种检验公式;确定单元302,用于确定待检验数据,在设置单元301设置的至少两种检验公式中,确定至少本文档来自技高网...

【技术保护点】
1.一种数据质量检验方法,其特征在于,预先设置至少两种检验公式,还包括:确定待检验数据;在所述至少两种检验公式中,确定至少两种当前检验公式;根据所述至少两种当前检验公式,生成当前检验规则;根据所述当前检验规则,对所述待检验数据进行检验。

【技术特征摘要】
1.一种数据质量检验方法,其特征在于,预先设置至少两种检验公式,还包括:确定待检验数据;在所述至少两种检验公式中,确定至少两种当前检验公式;根据所述至少两种当前检验公式,生成当前检验规则;根据所述当前检验规则,对所述待检验数据进行检验。2.根据权利要求1所述的数据质量检验方法,其特征在于,在所述根据所述当前检验规则,对所述待检验数据进行检验之前,进一步包括:确定与所述待检验数据相关联的关联数据;所述根据所述当前检验规则,对所述待检验数据进行检验,包括:根据所述当前检验规则和所述关联数据,对所述待检验数据进行检验;其中,所述关联数据中包括与所述待检验数据相关联的表名称、字段名称、常量数值和变量参数名中任意一种或多种的组合。3.根据权利要求1或2所述的数据质量检验方法,其特征在于,在所述根据所述当前检验规则,对所述待检验数据进行检验之后,进一步包括:对不满足所述当前检验规则的所述待检验数据进行统计;利用列表方式对统计结果进行展示。4.一种数据质量检验装置,其特征在于,包括:设置单元,用于设置至少两种检验公式;确定单元,用于确定待检验数据,在所述设置单元设置的所述至少两种检验公式中,确定至少两种当前检验公...

【专利技术属性】
技术研发人员:王小明
申请(专利权)人:浪潮通用软件有限公司
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1