【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体涉及一种基于数据要素驱动数据质量检测方法、装置及可读介质。
技术介绍
1、随着大数据的发展，大数据系统承担的责任越来越大，功能也越来越复杂。让大数据系统简单易用将极大提高用户和实施人员的体验，因此自动化、半自动化必然是大数据系统的发展方向。
2、面对大数据系统中庞大的数据资源，数据质量一直是数据治理的重中之重。目前常用的方法是实施人员对不同的数据表分别指定需要进行数据质量类型、所需要的字段，在程序中对数据质量规则的逻辑进行硬编码，导致耗费大量人力和时间成本、数据质量规则口径不一、更新迭代困难、对实施人员有较高的业务能力要求等问题。具体缺陷如下：
3、1)需要实施人员有较高的业务能力：需要了解数据质量检测的原理、规则表达式以及数据的业务逻辑，整个过程对实施人员的能力要求较高；
4、2)需要耗费大量的人工和时间成本：实施人员需要逐个表确定每个表中需要做数据质量检测的类型，然后根据数据质量检测类型配置对应的检测规则，整个过程的步骤繁琐，需要花费大量时间；
5、3)...
【技术保护点】
1.一种基于数据要素驱动数据质量检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于数据要素驱动数据质量检测方法，其特征在于，所述数据要素标签包括业务数据要素标签和技术数据要素标签，所述业务数据要素标签采用“ys.X”表示，X为中文名称的首字母，所述技术数据要素标签采用“js.Y”表示，Y为英文字符，所述待检测的数据表中的每个字段只能配置一个业务数据要素标签，可配置一个或多个技术数据要素标签，多个数据要素标签之间使用分号隔开，所述属性包括父级数据要素标签、字典代码集和/或正则表达式。
3.根据权利要求2所述的基于数据要素驱动数据质...
【技术特征摘要】
1.一种基于数据要素驱动数据质量检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于数据要素驱动数据质量检测方法，其特征在于，所述数据要素标签包括业务数据要素标签和技术数据要素标签，所述业务数据要素标签采用“ys.x”表示，x为中文名称的首字母，所述技术数据要素标签采用“js.y”表示，y为英文字符，所述待检测的数据表中的每个字段只能配置一个业务数据要素标签，可配置一个或多个技术数据要素标签，多个数据要素标签之间使用分号隔开，所述属性包括父级数据要素标签、字典代码集和/或正则表达式。
3.根据权利要求2所述的基于数据要素驱动数据质量检测方法，其特征在于，所述业务数据要素标签可使用继承的方式进行扩展得到父级数据要素标签，所述业务数据要素标签及其扩展得到的父级数据要素标签所采用的父级的字典代码集或正则表达式相同。
4.根据权利要求2所述的基于数据要素驱动数据质量检测方法，其特征在于，所述检测类型包括值域有效性、格式有效性、主键唯一性、数据唯一性、属性完整性、接入及时性、更新及时性和逻辑合理性，其中所述接入及时性、更新及时性和...
【专利技术属性】
技术研发人员：陈仕久，周成祖，魏超，吴文，蔡晓梅，蔡晓强，
申请(专利权)人：厦门市美亚柏科信息安全研究所有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。