一种主数据质量评价方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种主数据质量评价方法、装置、设备及存储介质，解决现有主数据质量评价方法不够灵活的技术问题。所述方法包括：基于预设划分方法，划分待评价主数据，以得到若干待评价对象；基于第一物理表中的字段，对待评价对象进行准确性评价，得到准确性评价结果；基于第二物理表和所述第一物理表中的数据项，对待评价对象进行一致性评价，得到一致性评价结果；基于第一物理表中字段的数量和所述第一物理表中字段在数据标准中的对应的规则数量，得到待评价对象的质量评价结果；基于准确性评价结果、一致性评价结果和质量评价结果，得到待评价对象的最终质量评价结果。本发明专利技术实现了主数据的准确评价，提高了主数据评价的效率和客观性。客观性。客观性。

【技术实现步骤摘要】
一种主数据质量评价方法、装置、设备及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种主数据质量评价方法、装置、设备及存储介质。

技术介绍

[0002]主数据是指满足跨部门业务协同需要的、反映核心业务实体状态属性的组织机构的基础信息，相对于交易数据而言，属性更加稳定，准确度要求更高，唯一识别。从定义可以看出主数据是企业内部高共享的核心业务实体数据，因此主数据的质量要求相比业务数据而言更高。为了实时对数据质量进行监控和评价，往往需要定义一套数据质量评价模型用于主数据质量的评价和监控。现有技术中主数据质量是从完整性、准确性、有效性、时效性和一致性五个指标上进行评价，存在不能根据数据业务对评价方法进行调整更新，评价方法不够准确的问题。

技术实现思路

[0003]本申请的主要目的是提供一种主数据质量评价方法、装置、设备及存储介质，旨在解决现有主数据质量评价方法不够准确的技术问题。
[0004]为解决上述技术问题，本申请提出了：一种主数据质量评价方法，包括以下步骤：基于预设划分方法，划分待评价主数据，以得到若干待评价对象；其中，所述待评价对象关联有第一物理表和若干第二物理表，所述第一物理表和所述第二物理表均包括若干字段，所述字段包括若干数据项；基于所述第一物理表中的字段，对所述待评价对象进行准确性评价，得到准确性评价结果；基于所述第二物理表和所述第一物理表中的数据项，对所述待评价对象进行一致性评价，得到一致性评价结果；基于所述第一物理表中字段的数量和所述第一物理表中字段在数据标准中的对应的规则数量，得到所述待评价对象的质量评价结果；基于所述准确性评价结果、所述一致性评价结果和所述质量评价结果，得到所述待评价对象的最终质量评价结果。
[0005]作为本申请的一些可选实施例，所述基于所述第一物理表中的字段，对所述待评价对象进行准确性评价，得到准确性评价结果包括：获取所述第一物理表的行数、字段的数量和每一所述字段在数据标准中的对应的规则数量；基于每一字段的所述规则数量，获取每一所述字段的准确性得分系数；基于每一所述字段在所述数据标准中满足的规则数量、对应的所述准确性得分系数和所述规则数量计算每一所述字段的准确性得分；根据每一所述字段的所述准确性得分和所述行数，得到所述准确性评价结果。
[0006]作为本申请的一些可选实施例，所述根据每一所述字段的所述准确性得分和所述行数，得到所述准确性评价结果包括：根据如下公式，获得所述准确性评价结果：式中，C为所述准确性评价结果，p为所有所述字段的准确性得分之和，m为所述行数，q为所述字段的数量。
[0007]作为本申请的一些可选实施例，所述第一物理表关联有第一MD5标签集合，所述第二物理表关联有第二MD标签集合；所述基于所述第二物理表和所述第一物理表的数据项，对所述待评价对象进行一致性评价，得到一致性评价结果包括：获取所述第一MD5标签集合和若干所述第二MD5标签集合；基于所述第一MD5标签集合和每一所述第二MD5标签集合，得到所述一致性评价结果。
[0008]作为本申请的一些可选实施例，所述第一MD5标签集合包括与所述第一物理表中的数据项对应的MD5标签，所述第二MD5标签集合包括与所述第二物理表中的数据项对应的MD5标签；所述基于所述第一MD5标签集合和每一所述第二MD5标签集合，得到所述一致性评价结果包括：将每一所述第二MD5标签集合和所述第一MD5标签集合进行对比，得到每一所述第二物理表的一致性得分；基于每一所述第二物理表的一致性得分，得到所述一致性评价结果。
[0009]作为本申请的一些可选实施例，所述基于所述第一物理表中字段的数量和所述第一物理表中字段在数据标准中的对应的规则数量，得到所述待评价对象的质量评价结果包括：基于每一所述第一物理表，获取每一所述第一物理表中的字段总数和每一所述字段在数据标准中的对应的规则数量；基于每一所述第一物理表中的字段总数和每一所述字段在数据标准中的对应的规则数量，计算每一所述待评价对象的平均规则数；基于所述平均规则数，对每一所述待评价对象进行排序，得到排序结果；基于所述排序结果和所述待评价对象的数量对每一所述待评价对象进行评分，得到质量评价结果。
[0010]作为本申请的一些可选实施例，所述基于每一所述准确性评价结果、所述一致性评价结果和所述质量评价结果，得到每一所述待评价对象的最终质量评价结果包括：根据预设权值，对所述准确性评价结果、所述一致性评价结果和所述质量评价结果进行加权运算，得到所述最终质量评价结果。
[0011]为解决上述技术问题，本申请还提出了：一种主数据质量评价装置，其特征在于，所述装置包括：划分模块，用于基于预设划分方法，划分待评价主数据，以得到若干待评价对象；其中，所述待评价对象关联有第一物理表和若干第二物理表，所述第一物理表和所述第二
物理表均包括若干字段，所述字段包括若干数据项；第一评价模块，用于基于所述第一物理表中的字段，对所述待评价对象进行准确性评价，得到准确性评价结果；第二评价模块，用于基于所述第二物理表和所述第一物理表中的数据项，对所述待评价对象进行一致性评价，得到一致性评价结果；第三评价模块，基于所述第一物理表中字段的数量和所述第一物理表中字段在数据标准中的对应的规则数量，得到所述待评价对象的质量评价结果；最终评价模块，用于基于所述准确性评价结果、所述一致性评价结果和所述质量评价结果，得到所述待评价对象的最终质量评价结果。
[0012]为解决上述技术问题，本申请还提出了：一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如上所述的方法。
[0013]为解决上述技术问题，本申请还提出了：一种存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现实现如上所述的方法。
[0014]综上所述，本专利技术的有益效果如下：本申请提出了一种主数据质量评价方法，首先基于预设划分规则，对待评价主数据进行划分，得到若干待评价对象，便于统计数据对象的行数、字段数以及适配的标准中规则数；随后，基于与待评价主数据关联的第一物理表中字段，得到准确性评价结果，由于准确性评价结果基于与待评价主数据对应的数据表中每一字段得到，通过所述字段，能够获取每一字段在数据标准中对应数据规则，进而准确并且客观的对主数据进行评价，可以根据业务要求对个别字段进行精准评价；随后，基于若干第二物理表和所述第一物理表的数据项，对所述待评价主数据进行一致性评价，得到一致性评价结果，由于主数据的高共享特性，导致主数据可能被多个目标端引用，通过将存在于每一引用待评价主数据的目标端的第二物理表和存在鱼源端的第一物理表的数据项进行对比，能够全面的对主数据的准确性进行评价；之后，基于待评价主数据对应的数据表中的字段数量和每一字段对应的数据规则的数量，获得所述待评价主数据的质量评价结果，主数据是以数据标准体系为基础进行构建，每一个字段都会有一条或者多条的数据约束规则，并且该数据约束规则数量在主数据应用的过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种主数据质量评价方法，其特征在于，包括以下步骤：基于预设划分方法，划分待评价主数据，以得到若干待评价对象；其中，所述待评价对象关联有第一物理表和若干第二物理表，所述第一物理表和所述第二物理表均包括若干字段，所述字段包括若干数据项；基于所述第一物理表中的字段，对所述待评价对象进行准确性评价，得到准确性评价结果；基于所述第二物理表和所述第一物理表中的数据项，对所述待评价对象进行一致性评价，得到一致性评价结果；基于所述第一物理表中字段的数量和所述第一物理表中字段在数据标准中的对应的规则数量，得到所述待评价对象的质量评价结果；基于所述准确性评价结果、所述一致性评价结果和所述质量评价结果，得到所述待评价对象的最终质量评价结果。2.根据权利要求1所述的主数据质量评价方法，其特征在于，所述基于所述第一物理表中的字段，对所述待评价对象进行准确性评价，得到准确性评价结果包括：获取所述第一物理表的行数、字段的数量和每一所述字段在数据标准中的对应的规则数量；基于每一字段的所述规则数量，获取每一所述字段的准确性得分系数；基于每一所述字段在所述数据标准中满足的规则数量、对应的所述准确性得分系数和所述规则数量计算每一所述字段的准确性得分；根据每一所述字段的所述准确性得分和所述行数，得到所述准确性评价结果。3.根据权利要求2所述的主数据质量评价方法，其特征在于，所述根据每一所述字段的所述准确性得分和所述行数，得到所述准确性评价结果包括：根据如下公式，获得所述准确性评价结果：式中，C为所述准确性评价结果，p为所有所述字段的准确性得分之和，m为所述行数，q为所述字段的数量。4.根据权利要求1所述的主数据质量评价方法，其特征在于，所述第一物理表关联有第一MD5标签集合，所述第二物理表关联有第二MD标签集合；所述基于所述第二物理表和所述第一物理表的数据项，对所述待评价对象进行一致性评价，得到一致性评价结果包括：获取所述第一MD5标签集合和若干所述第二MD5标签集合；基于所述第一MD5标签集合和每一所述第二MD5标签集合，得到所述一致性评价结果。5.根据权利要求4所述的主数据质量评价方法，其特征在于，所述第一MD5标签集合包括与所述第一物理表中的数据项对应的MD5标签，所述第二MD5标签集合包括与所述第二物理表中的数据项对应的MD5标签；所述基于所述第一MD5标签集合和每一所述第二MD5标签集合，得到所述一致性评价结果包括：将每一所述第二MD5标签集合和所述第...

【专利技术属性】
技术研发人员：隋少春，邱权，张历记，王尚超，范东皖，雷霭荻，赵炜煜，罗佳丽，谭丽娟，
申请(专利权)人：成都飞机工业集团有限责任公司，
类型：发明
国别省市：