一种用于提升数据质量的数据治理方法技术

本发明专利技术提供一种用于提升数据质量的数据治理方法，涉及数据治理技术领域，包括以下步骤：采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表。本发明专利技术通过对数据进行统一的格式转换，使得数据表中不同格式的数据能够统一化处理，依据时效原则，减少了数据处理的数量，能够提升数据处理的速度，通过将具有相同特征的数据进行提取汇总，进行分类处理，能够提高数据处理的相关性，将超过预设阈值的数据剔除，可以实现对赘余数据的处理效果，减少了数据中的误差数据，在数据中补充缺失的数据，使得数据能够保持完整性，同时，还可以对处理后的数据进行验证，进而实现了对数据治理质量的提升。现了对数据治理质量的提升。

【技术实现步骤摘要】
一种用于提升数据质量的数据治理方法


[0001]本专利技术涉及数据治理
，特别的为一种用于提升数据质量的数据治理方法。

技术介绍

[0002]数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。随着数据在企业中发挥的作用越来越重要，数据治理已经成为数据处理的重要一项步骤。
[0003]在专利申请号为CN202010406901.6的“用于提升数据质量的数据治理方法”的专利中，在说明书中记载有“采集指定数据库表的元数据为当前元数据，并对比当前元数据及预设的有效性规则；其中，当前元数据包括技术元数据和业务元数据；如果当前元数据符合所述有效性规则，则确定当前元数据具有有效性；如果当前元数据不符合所述有效性规则，则指示相应负责人对当前元数据进行修正，确定对当前元数据进行修正得到的元数据为当前元数据，返回执行对比当前元数据及预先设置的有效性规则的步骤，直至确定当前元数据不符合所述有效性规则的次数达到次数阈值为止。从而提升数据质量，实现对数据的有效治理”，在所提供的数据质量方法中，对于数据处理中的赘余数据未进行有效的处理，影响了数据数量的速度和质量，同时，地域与数据中存在的缺失数据未进行有效的补充，使得治理后的数据缺少完整性，进而影响数据使用时的功能性，无法满足使用者对于数据治理质量的要求。
[0004]综上所述，研发一种用于提升数据质量的数据治理方法，仍是数据治理
中急需解决的关键问题。

技术实现思路

[0005]本专利技术提供的了一种用于提升数据质量的数据治理方法，本专利技术通过对数据进行统一的格式转换，使得数据表中不同格式的数据能够统一化处理，依据时效原则，减少了数据处理的数量，能够提升数据处理的速度，通过对赘余数据的处理效果，减少了数据中的误差数据，在数据中补充缺失的数据，使得数据能够保持完整性，同时，还可以对处理后的数据进行验证，进而实现了对数据治理质量的提升。
[0006]为实现以上目的，本专利技术通过以下技术方案予以实现：一种用于提升数据质量的数据治理方法，包括以下步骤：
[0007](1)采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表；
[0008](2)对转换后的标准格式表内的数据依据时效原则，剔除无关数据，获得时效数据；
[0009](3)在获得的时效数据中剔除赘余数据，获得无赘余数据；
[0010](4)在无赘余数据中预估及补充缺失数据；
[0011](5)将步骤(4)中处理后的数据加入数据库，并对数据进行运行验证，将验证结果与预定结果的比值和误差率进行对比，完全数据治理。
[0012]本专利技术进一步设置为：在所述步骤(2)中，所述的时效原则为数据库中的数据处于待治理的时间段内。
[0013]本专利技术进一步设置为：在所述步骤(3)中，所述的剔除赘余数据的方法为：
[0014]提取时效数据中具有相同特征的数据X＝(x1,x2,x3,...,x
n
)；求取具有相同特征的数据X＝(x1,x2,x3,...,x
n
)的平均值将数据X分别与预设的对比阈值W进行对比，若P≤W，则对该数据进行保留，否则将该数据剔除，完成剔除赘余数据。
[0015]本专利技术进一步设置为：所述的相同特征的数据X指用于某一特定属性的采集数据。
[0016]本专利技术进一步设置为：所述的预设的对比阈值W为平均值P的α倍，即 W＝αP，其中α为设定常数。
[0017]本专利技术进一步设置为：在所述步骤S4中，所述的预估及补充缺失数据的方法为：
[0018]将k个相连的具有相同特征的数据X做归一化处理；计算获取第i个临近的熵值t
i
,计算第i个临近的差异度系数Z
i
， Z
i
＝1
‑
t
i
,(i＝1,2,3,...,k)；求取第i个临近的熵值系数，计算出缺失值，将缺失值插入对应的位置。
[0019]本专利技术进一步设置为：所述的归一化处理，其公式为式中，h
i
表示第i个相邻项与目标项之间的距离。
[0020]本专利技术进一步设置为：所述的计算出缺失值，其计算公式为其中x
i
为k个相连的具有相同特征的数据的集合。
[0021]本专利技术进一步设置为：在所述步骤(5)中，所述的对数据进行运行验证，是指将验证结果与预定结果的比值和误差率进行对比，若误差率在设定误差范围内，则完成数据治理，若误差率在设定误差范围之外，则重复步骤 (1)
‑
(5)。
[0022]本专利技术提供了一种用于提升数据质量的数据治理方法。具备以下有益效果：
[0023]本专利技术通过对数据进行统一的格式转换，使得数据表中不同格式的数据能够统一化处理，依据时效原则，在数据中剔除无效数据，减少了数据处理的数量，能够提升数据处理的速度，通过将具有相同特征的数据进行提取汇总，进行分类处理，能够提高数据处理的相关性，将超过预设阈值的数据剔除，可以实现对赘余数据的处理效果，减少了数据中的误差数据，在数据中补充缺失的数据，使得数据能够保持完整性，同时，还可以对处理后的数据进行验证，进而实现了对数据治理质量的提升。
附图说明
[0024]图1为一种用于提升数据质量的数据治理方法的流程图。
具体实施方式
[0025]为使本专利技术实施条例的目的、技术方案和优点更加清楚，下面将对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]下面结合实施例对本专利技术作进一步的描述。
[0027]实施例1：
[0028]请参照图1所示，图1为一种用于提升数据质量的数据治理方法的流程图，一种用于提升数据质量的数据治理方法，包括以下步骤：
[0029](1)采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表。在本步骤中，通过从数据库中采集数据表，并进行格式转换，使得数据表中不同格式的数据能够统一化处理，以便对数据进行处理。
[0030](2)对转换后的标准格式表内的数据依据时效原则，剔除无关数据，获得时效数据。
[0031]其中，时效原则为数据库中的数据处于待治理的时间段内。
[0032]在本步骤中，时效原则根据所需处理的数据的时间段进行剔除无关数据，将不在处理时间段内的数据剔除，从而能够减少对数据的处理量，提高数据处理的效率。
[0033](3)在获得的时效数据中剔除赘余数据，获得无赘余数据。
[0034]其中，剔除赘余数据的方法为：提取时效数据中具有相同特征的数据 X＝(x1,x2,x3,...,x
n
)；求取具有相同特征的数据X＝(x1,x2,x3,...,x<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于提升数据质量的数据治理方法，其特征在于，包括以下步骤：(1)采集待治理数据库中的数据表，将采集的数据表按照统一格式转换成标准格式表；(2)对转换后的标准格式表内的数据依据时效原则，剔除无关数据，获得时效数据；(3)在获得的时效数据中剔除赘余数据，获得无赘余数据；(4)在无赘余数据中预估及补充缺失数据；(5)将步骤(4)中处理后的数据加入数据库，并对数据进行运行验证，将验证结果与预定结果的比值和误差率进行对比，完全数据治理。2.根据权利要求1所述的用于提升数据质量的数据治理方法，其特征在于：在所述步骤(2)中，所述的时效原则为数据库中的数据处于待治理的时间段内。3.根据权利要求1所述的用于提升数据质量的数据治理方法，其特征在于：在所述步骤(3)中，所述的剔除赘余数据的方法为：提取时效数据中具有相同特征的数据X＝(x1,x2,x3,...,x
n
)；求取具有相同特征的数据X＝(x1,x2,x3,...,x
n
)的平均值将数据X分别与预设的对比阈值W进行对比，若P≤W，则对该数据进行保留，否则将该数据剔除，完成剔除赘余数据。4.根据权利要求3所述的用于提升数据质量的数据治理方法，其特征在于：所述的相同特征的数据X指用于某一特定属性的采集数据。5.根据权利要求3所述的用于提升数据质量的数据治理方法，其特征在于：所述的预设...

【专利技术属性】
技术研发人员：李勋章，柯捷，莫静容，周慧怡，
申请(专利权)人：桂林航天工业学院，
类型：发明
国别省市：