一种数据治理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据治理方法、装置、电子设备及存储介质，方法包括：获取初始数据表，其中，初始数据表中包括若干个初始字段，对于每一初始字段，该初始字段下存在初始数据；对于每一初始字段，从数据治理规则库中查找该初始字段是否存在对应的至少一个数据治理规则，若存在，则将每一数据治理规则向用户进行显示；响应于用户对于所显示的每一数据治理规则中目标数据治理规则的选定操作，按照目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及目标治理数据所属的目标字段。本申请能够降低技术人员的工作负担，提升工作效率。提升工作效率。提升工作效率。

【技术实现步骤摘要】
一种数据治理方法、装置、电子设备及存储介质


[0001]本申请涉及大数据处理领域，具体而言，涉及一种数据治理方法、装置、电子设备及存储介质。

技术介绍

[0002]在信息化社会，大数据革新了现代企业治理的思维和方式，成为推进企业治理现代化不可或缺的重要力量，而对大数据进行数据治理以增加数据的稳定性和可读性是十分必要的。
[0003]现有的数据治理方式，在每次对不同的数据表中的数据进行数据治理时，都需要编写不同的代码，例如，存在数据表1和数据表2，数据表1存在8个字段，数据表2在数据表1所包含的字段的基础上包括一个额外的字段(即共计包括9个字段)，虽然数据表1和数据表2仅存在较小的区别，但也需要技术人员分别针对数据表1和数据表2各自整体进行数据治理代码的编写，这样，极大程度上增加了技术人员的工作负担，降低了工作效率。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种数据治理方法、装置、电子设备及存储介质，能够降低技术人员的工作负担，提升工作效率。
[0005]第一方面，本申请实施例提供了一种数据治理方法，所述方法包括：
[0006]获取初始数据表，其中，所述初始数据表中包括若干个初始字段，对于每一所述初始字段，该初始字段下存在初始数据；
[0007]对于每一所述初始字段，从数据治理规则库中查找该初始字段是否存在对应的至少一个数据治理规则，若存在，则将每一所述数据治理规则向用户进行显示，其中，所述数据治理规则用于对该初始字段下的初始数据进行数据治理，不同的所述数据治理规则具有不同的数据治理逻辑；
[0008]响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段。
[0009]在一种可能的实施方式中，在响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段之后，所述方法还包括：
[0010]基于每一所述目标字段和每一所述目标治理数据，生成目标数据表。
[0011]在一种可能的实施方式中，在响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段之后，所述方法还包括：
[0012]将每一所述目标治理数据写入ElasticSearch中。
[0013]在一种可能的实施方式中，对于每一所述数据治理规则，该数据治理规则是通过以下语法中的任一种语法进行表示的：jxel语法，spel语法，ognl语法，groovy语法。
[0014]在一种可能的实施方式中，基于每一所述目标字段和每一所述目标治理数据，生成目标数据表，包括：
[0015]基于每一所述目标治理数据、每一所述目标字段、每一保留初始字段以及每一所述保留初始字段下的初始数据，生成所述目标数据表，其中，所述保留初始字段为不存在对应的数据治理规则的初始字段。
[0016]第二方面，本申请实施例还提供了一种数据治理装置，所述装置包括：
[0017]获取模块，用于获取初始数据表，其中，所述初始数据表中包括若干个初始字段，对于每一所述初始字段，该初始字段下存在初始数据；
[0018]查找显示模块，用于对于每一所述初始字段，从数据治理规则库中查找该初始字段是否存在对应的至少一个数据治理规则，若存在，则将每一所述数据治理规则向用户进行显示，其中，所述数据治理规则用于对该初始字段下的初始数据进行数据治理，不同的所述数据治理规则具有不同的数据治理逻辑；
[0019]数据治理模块，用于响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段。
[0020]在一种可能的实施方式中，所述装置还包括：
[0021]数据表生成模块，用于在所述数据治理模块响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段之后，基于每一所述目标字段和每一所述目标治理数据，生成目标数据表。
[0022]在一种可能的实施方式中，所述装置还包括：
[0023]写入模块，用于在所述数据治理模块响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段之后，将每一所述目标治理数据写入ElasticSearch中。
[0024]在一种可能的实施方式中，对于每一所述数据治理规则，该数据治理规则是通过以下语法中的任一种语法进行表示的：jxel语法，spel语法，ognl语法，groovy语法。
[0025]在一种可能的实施方式中，所述数据表生成模块，具体用于：
[0026]基于每一所述目标治理数据、每一所述目标字段、每一保留初始字段以及每一所述保留初始字段下的初始数据，生成所述目标数据表，其中，所述保留初始字段为不存在对应的数据治理规则的初始字段。
[0027]第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面
任一项所述的数据治理方法的步骤。
[0028]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的数据治理方法的步骤。
[0029]本申请实施例提供的一种数据治理方法、装置、电子设备及存储介质，能够降低技术人员的工作负担，提升工作效率。
附图说明
[0030]为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0031]图1示出了本申请实施例提供的一种数据治理方法的流程图；
[0032]图2示出了本申请实施例提供的一种数据治理装置的结构示意图；
[0033]图3示出了本申请实施例提供的一种电子本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据治理方法，其特征在于，所述方法包括：获取初始数据表，其中，所述初始数据表中包括若干个初始字段，对于每一所述初始字段，该初始字段下存在初始数据；对于每一所述初始字段，从数据治理规则库中查找该初始字段是否存在对应的至少一个数据治理规则，若存在，则将每一所述数据治理规则向用户进行显示，其中，所述数据治理规则用于对该初始字段下的初始数据进行数据治理，不同的所述数据治理规则具有不同的数据治理逻辑；响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段。2.根据权利要求1所述的数据治理方法，其特征在于，在响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段之后，所述方法还包括：基于每一所述目标字段和每一所述目标治理数据，生成目标数据表。3.根据权利要求1所述的数据治理方法，其特征在于，在响应于所述用户对于所显示的每一所述数据治理规则中目标数据治理规则的选定操作，按照所述目标数据治理规则所具有的数据治理逻辑，对该初始字段下的初始数据进行数据治理，得到目标治理数据以及所述目标治理数据所属的目标字段之后，所述方法还包括：将每一所述目标治理数据写入ElasticSearch中。4.根据权利要求1所述的数据治理方法，其特征在于，对于每一所述数据治理规则，该数据治理规则是通过以下语法中的任一种语法进行表示的：jxel语法，spel语法，ognl语法，groovy语法。5.根据权利要求2所述的数据治理方法，其特征在于，基于每一所述目标字段和每一所述目标治理数据，生成目标数据表，包括：基于每一所述目标治理数据、每一所述目标字段、每一保留初始字段以及每一所述保留初始字段下的初始数据，生成所述目标数据表，其中，所述保留初始字段为不存在对应的数据治理规则的初始字段。6.一种数据治理装置，其特征在于，所述装...

【专利技术属性】
技术研发人员：程国艮，邢飞，严凤兵，
申请(专利权)人：中译语通科技股份有限公司，
类型：发明
国别省市：