公共数据治理方法、装置、电子设备和可读存储介质制造方法及图纸

本发明专利技术提供了一种公共数据治理方法、装置、电子设备和可读存储介质，涉及大数据治理的技术领域，包括：对公共数据中的每个数据项，进行数据标准关联；基于数据标准，治理数据标准对应的每个数据项的数据质量，确定每个数据项对应的标准数据；根据每个数据项对应的目标来源数据，修正对应的标准数据并录入数据库；通过为每个数据项确定统一的数据标准，以及为每个数据项确定权威的数据来源，以缓解海量公共数据跨表治理难的技术问题。共数据跨表治理难的技术问题。共数据跨表治理难的技术问题。

【技术实现步骤摘要】
公共数据治理方法、装置、电子设备和可读存储介质


[0001]本专利技术涉及大数据治理的
，尤其是涉及一种公共数据治理方法、装置、电子设备和可读存储介质。

技术介绍

[0002]公共数据(如政务大数据)经过大数据平台整合汇聚以后，数据是否好用、数据质量高不高，成为影响政务数据共享利用、最大限度发挥数据资源价值的关键因素。
[0003]当前技术方案主要是通过数据清洗(数据过滤)技术对归集的公共数据进行治理，即通过通用的数据治理规则对归集的数据进行过滤或转化，以确保获得干净数据。
[0004]但现有的技术方案容易出现同一个数据项在多张表中格式不统一、同一条数据在多张表中取值不一致的情况，使得海量公共数据的跨表治理的难度较大，治理后的数据质量较差。

技术实现思路

[0005]本专利技术的目的在于提供一种公共数据治理方法、装置、电子设备和可读存储介质，通过为每个数据项确定统一的数据标准，以及为每个数据项确定权威的数据来源，以缓解海量公共数据跨表治理难的技术问题。
[0006]第一方面，本专利技术实施例提供了一种公共数据治理方法，所述方法包括：
[0007]对公共数据中的每个数据项，进行数据标准关联；
[0008]基于所述数据标准，治理所述数据标准对应的每个数据项的数据质量，确定所述每个数据项对应的标准数据；
[0009]根据所述每个数据项对应的目标来源数据，修正对应的标准数据并录入数据库。
[0010]结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述数据标准包括通用标准和个性化标准；对公共数据中的每个数据项，进行数据标准关联的步骤，包括：
[0011]根据公共数据中的每个数据项的类型，对所述每个数据项进行通用数据标准关联；
[0012]根据公共数据中的每个数据项的来源，对所述每个数据项进行个性化数据标准关联。
[0013]结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，基于所述数据标准，治理所述数据标准对应的每个数据项的数据质量，确定所述每个数据项对应的标准数据的步骤，包括：
[0014]基于所述数据标准，对每个所述数据标准关联的数据项进行数据质量判断；
[0015]若所述数据质量符合标准，则确定所述数据项的标准数据；
[0016]若所述数据质量不符合标准，则先对所述数据项进行治理，再确定标准数据。
[0017]结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，先
对所述数据项进行治理，再确定标准数据的步骤，包括：
[0018]根据所述数据标准对应的预设治理规则，将所述数据标准关联的数据项进行映射转化，并再次执行所述基于所述数据标准，对每个所述数据标准关联的数据项进行数据质量判断的步骤，直至确定所述数据项的标准数据。
[0019]结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，根据所述每个数据项对应的目标来源数据，修正对应的标准数据并录入数据库的步骤，包括：
[0020]将所述每个数据项对应的目标来源数据与标准数据进行比对；
[0021]若结果一致，则将所述数据项对应的标准数据录入数据库；
[0022]若结果不一致，则基于所述数据项对应的目标来源数据，对所述标准数据进行修正，并将修正后的标准数据录入数据库中。
[0023]结合第一方面，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，基于所述数据项对应的目标来源数据，对所述标准数据进行修正，并将修正后的标准数据录入数据库中的步骤，包括：
[0024]基于所述目标来源数据，修正相对应的标准数据，再次执行所述将所述数据标准关联的数据项的标准数据与所述数据标准关联的数据项的目标来源数据进行比对的步骤，直至将所述公共数据中的每个数据项的标准数据录入数据库。
[0025]结合第一方面，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，在对公共数据中的每个数据项，进行数据标准关联的步骤之前，所述方法还包括：
[0026]对所述公共数据进行预处理清洗操作。
[0027]第二方面，本专利技术实施例还提供一种公共数据治理装置，所述装置包括：
[0028]关联模块，对公共数据中的每个数据项，进行数据标准关联；
[0029]治理模块，基于所述数据标准，治理所述数据标准对应的每个数据项的数据质量，确定所述每个数据项对应的标准数据；
[0030]修正模块，根据所述每个数据项对应的目标来源数据，修正对应的标准数据并录入数据库。
[0031]第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。
[0032]第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。
[0033]本专利技术实施例带来了一种公共数据治理方法、装置、电子设备和可读存储介质，首先将每个数据项对应的数据标准对其相关联，再根据该数据标准对其对应数据项的数据质量进行判断和治理，以确定出每个数据项数据质量满足要求的标准数据，再根据每个数据项对应的目标来源修正该标准数据，进而录入数据库，使得海量公共数据的跨表治理问题能够得到解决。
[0034]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
[0035]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0036]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1为一种现有公共数据治理方法流程图；
[0038]图2为本专利技术实施例提供的一种公共数据治理方法流程图；
[0039]图3为本专利技术实施例提供的一种公共数据治理应用示意图；
[0040]图4为本专利技术实施例提供的另一种公共数据治理方法流程图；
[0041]图5为本专利技术实施例提供的一种公共数据治理方法应用效果示意图；
[0042]图6为本专利技术实施例提供的另一种公共数据治理方法应用效果示意图；
[0043]图7为本专利技术实施例提供的一种公共数据治理装置的功能模块示意图；
[0044]图8为本专利技术实施例提供的电子设备的硬件架构示意图。
具体实施方式
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种公共数据治理方法，其特征在于，所述方法包括：对公共数据中的每个数据项，进行数据标准关联；基于所述数据标准，治理所述数据标准对应的每个数据项的数据质量，确定所述每个数据项对应的标准数据；根据所述每个数据项对应的目标来源数据，修正对应的标准数据并录入数据库。2.根据权利要求1所述的方法，其特征在于，所述数据标准包括通用标准和个性化标准；对公共数据中的每个数据项，进行数据标准关联的步骤，包括：根据公共数据中的每个数据项的类型，对所述每个数据项进行通用数据标准关联；根据公共数据中的每个数据项的来源，对所述每个数据项进行个性化数据标准关联。3.根据权利要求2所述的方法，其特征在于，基于所述数据标准，治理所述数据标准对应的每个数据项的数据质量，确定所述每个数据项对应的标准数据的步骤，包括：基于所述数据标准，对每个所述数据标准关联的数据项进行数据质量判断；若所述数据质量符合标准，则确定所述数据项的标准数据；若所述数据质量不符合标准，则先对所述数据项进行治理，再确定标准数据。4.根据权利要求3所述的方法，其特征在于，先对所述数据项进行治理，再确定标准数据的步骤，包括：根据所述数据标准对应的预设治理规则，将所述数据标准关联的数据项进行映射转化，并再次执行所述基于所述数据标准，对每个所述数据标准关联的数据项进行数据质量判断的步骤，直至确定所述数据项的标准数据。5.根据权利要求1所述的方法，其特征在于，根据所述每个数据项对应的目标来源数据，修正对应的标准数据并录入数据库的步骤，包括：将所述每个数据项对应的目标来源数据与...

【专利技术属性】
技术研发人员：邹任芯，叶剑超，平正强，
申请(专利权)人：数字浙江技术运营有限公司，
类型：发明
国别省市：