数据质量管理方法和装置制造方法及图纸

本申请公开了一种数据质量管理方法和装置，属于数据处理技术领域

【技术实现步骤摘要】
数据质量管理方法和装置


[0001]本申请属于数据处理
，尤其涉及一种数据质量管理方法和装置
。

技术介绍

[0002]随着大数据应用的发展，企业拥有的数据资产越来越庞大而复杂，需要对数据进行有效的质量管理以实现数据的业务价值
。
常用的数据质量管理方法无法统一数据质量标准，导致数据的标准杂乱，实施治理周期较长且治理成本较高，且数据存储结构不一致，在调用多系统的数据时导致据无法直接关联，不同系统之间的数据难以实现共享
。

技术实现思路

[0003]本申请旨在至少解决现有技术中存在的技术问题之一
。
为此，本申请提出一种数据质量管理方法和装置，能够统一数据质量标准，保证了后续应用过程中数据处理的一致性，统一了数据存储结构，在调用多系统的数据时可以直接关联数据，实现了不同系统之间的数据共享
。
[0004]第一方面，本申请提供了一种数据质量管理方法，该方法包括：
[0005]接收用户的第一输入，所述第一输入用于输入目标配置；
[0006]响应于所述第一输入，基于所述目标配置，构建数据模型；
[0007]将数据仓库中目标层对应的数据源关联至所述数据模型的对应位置并进行字段映射；
[0008]基于目标数据稽查规则对所述目标层对应的数据源中至少部分数据进行稽查，获取质量检查报告
。
[0009]根据本申请实施例提供的数据质量管理方法，通过用户的输入设置数据的目标配置，能够统一数据质量标准，保证了后续应用过程中数据处理的一致性，从源头上保障了数据的标准化生产，节约了后续数据应用和处理的成本；除此之外，基于目标配置和数据结构构建数据模型，并将数据模型与数据源进行关联，统一了数据存储结构，在调用多系统的数据时可以直接关联数据，实现了不同系统之间的数据共享，且在使用数据时可以快速调取对应类型的数据源，节约了后续数据应用和处理的成本，便于用户对数据进行有效管理
。
[0010]本申请一个实施例的数据质量管理方法，所述第一输入包括：第一子输入和第二子输入；所述第一子输入用于输入标准代码，所述第二子输入用于输入数据元标准
。
[0011]本申请一个实施例的数据质量管理方法，所述将数据仓库中目标层对应的数据源关联至所述数据模型的对应位置并进行字段映射，包括：
[0012]从数据仓库中多个层对应的数据源中确定所述目标层对应的数据源，并建立所述数据模型与所述目标层对应的数据源之间的关联关系；
[0013]基于所述关联关系获取与所述数据模型关联的数据源；所述数据源对应有物理表字段；
[0014]基于所述数据模型对应的逻辑表字段和所述物理表字段，建立所述数据模型与所
述数据源之间的字段映射关系
。
[0015]本申请一个实施例的数据质量管理方法，在所述基于目标数据稽查规则对所述目标层对应的数据源中至少部分数据进行稽查，获取质量检查报告之前，所述方法还包括：
[0016]接收用户的第二输入；所述第二输入用于输入所述目标层对应的数据源的稽查规则名称
、
稽查类型
、
稽查组件和稽查字段中的至少一种；
[0017]响应于所述第二输入，生成所述数据源对应的目标数据稽查规则
。
[0018]本申请一个实施例的数据质量管理方法，所述数据仓库包括多个数据源，所述多个数据源对应多个不同的稽查规则，所述多个数据源与所述多个不同的稽查规则一一对应，所述基于目标数据稽查规则对所述目标层对应的数据源中至少部分数据进行稽查，获取质量检查报告，包括：
[0019]基于所述多个不同的稽查规则分别对所述多个数据源中至少部分数据进行稽查，获取多个不同的质量检查报告，所述多个不同的质量检查报告与所述多个不同的稽查规则一一对应
。
[0020]本申请一个实施例的数据质量管理方法，在所述响应于所述第一输入，基于所述目标配置，构建数据模型之前，所述方法还包括：
[0021]对所述目标配置进行审核，在所述目标配置审核通过的情况下，将所述目标配置对应的发布状态变更为已发布；已发布的所述目标配置用于构建所述数据模型；
[0022]在所述目标配置审核未通过的情况下，将所述目标配置对应的发布状态变更为未发布，并更新所述目标配置
。
[0023]第二方面，本申请提供了一种数据质量管理装置，该装置包括：
[0024]第一处理模块，用于接收用户的第一输入，所述第一输入用于输入目标配置；
[0025]第二处理模块，用于响应于所述第一输入，基于所述目标配置，构建数据模型；
[0026]第三处理模块，用于将数据仓库中目标层对应的数据源关联至所述数据模型的对应位置并进行字段映射；
[0027]第四处理模块，用于基于目标数据稽查规则对所述目标层对应的数据源中至少部分数据进行稽查，获取质量检查报告
。
[0028]根据本申请实施例提供的数据质量管理装置，通过用户的输入设置数据的目标配置，能够统一数据质量标准，保证了后续应用过程中数据处理的一致性，从源头上保障了数据的标准化生产，节约了后续数据应用和处理的成本；除此之外，基于目标配置和数据结构构建数据模型，并将数据模型与数据源进行关联，统一了数据存储结构，在调用多系统的数据时可以直接关联数据，实现了不同系统之间的数据共享，且在使用数据时可以快速调取对应类型的数据源，节约了后续数据应用和处理的成本，便于用户对数据进行有效管理
。
[0029]第三方面，本申请提供了一种电子设备，包括存储器
、
处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据质量管理方法
。
[0030]第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数据质量管理方法
。
[0031]第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的数据质量管理方法
。
[0032]本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
[0033]通过用户的输入设置数据的目标配置，能够统一数据质量标准，保证了后续应用过程中数据处理的一致性，从源头上保障了数据的标准化生产，节约了后续数据应用和处理的成本；除此之外，基于目标配置和数据结构构建数据模型，并将数据模型与数据源进行关联，统一了数据存储结构，在调用多系统的数据时可以直接关联数据，实现了不同系统之间的数据共享，且在使用数据时可以快速调取对应类型的数据源，节约了后续数据应用和处理的成本，便于用户对数据进行有效管理
。
[0034]进一步地，通过将数据模型与数据仓库中目标层的数据源建立关联，并建立数据模型与数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据质量管理方法，其特征在于，包括：接收用户的第一输入，所述第一输入用于输入目标配置；响应于所述第一输入，基于所述目标配置，构建数据模型；将数据仓库中目标层对应的数据源关联至所述数据模型的对应位置并进行字段映射；基于目标数据稽查规则对所述目标层对应的数据源中至少部分数据进行稽查，获取质量检查报告
。2.
根据权利要求1所述的数据质量管理方法，其特征在于，所述第一输入包括：第一子输入和第二子输入；所述第一子输入用于输入标准代码，所述第二子输入用于输入数据元标准
。3.
根据权利要求1所述的数据质量管理方法，其特征在于，所述将数据仓库中目标层对应的数据源关联至所述数据模型的对应位置并进行字段映射，包括：从数据仓库中多个层对应的数据源中确定所述目标层对应的数据源，并建立所述数据模型与所述目标层对应的数据源之间的关联关系；基于所述关联关系获取与所述数据模型关联的数据源；所述数据源对应有物理表字段；基于所述数据模型对应的逻辑表字段和所述物理表字段，建立所述数据模型与所述数据源之间的字段映射关系
。4.
根据权利要求1‑3任一项所述的数据质量管理方法，其特征在于，在所述基于目标数据稽查规则对所述目标层对应的数据源中至少部分数据进行稽查，获取质量检查报告之前，所述方法还包括：接收用户的第二输入；所述第二输入用于输入所述目标层对应的数据源的稽查规则名称
、
稽查类型
、
稽查组件和稽查字段中的至少一种；响应于所述第二输入，生成所述数据源对应的目标数据稽查规则
。5.
根据权利要求4所述的数据质量管理方法，其特征在于，所述数据仓库包括多个数据源，所述多个数据源对应多个不同的稽查规则，所述多个数据源与所述多个不同的稽查规则一一对应，所述基于目标数据稽查规则对所述目...

【专利技术属性】
技术研发人员：田丰，李智涛，王永旭，
申请(专利权)人：广州广电运通信息科技有限公司，
类型：发明
国别省市：