数据治理方法和装置制造方法及图纸

本发明专利技术提供了一种数据治理方法和装置，特别涉及大数据技术领域，所述方法包括：根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息；根据新引入数据，建立所述新建数据标准的非遗传属性信息；根据所述遗传属性信息和非遗传属性信息，生成新建数据标准，将所述新建数据标准添加到所述现有标准中得到更新后总标准，以根据所述更新后总标准确定数据治理的治理范围，从而根据所述治理范围进行数据治理。本发明专利技术能够提高数据治理的效率，减少数据治理时出现错误的概率，从而有利于相关数据系统的正常运作。有利于相关数据系统的正常运作。有利于相关数据系统的正常运作。

【技术实现步骤摘要】
数据治理方法和装置


[0001]本专利技术涉及数据治理
，特别涉及大数据
，尤其涉及一种数据治理方法和装置。

技术介绍

[0002]在银行业务的数据治理过程中，往往涉及将新数据引入相关数据系统，而在新数据无法归入到现有的数据标准时，需要为新数据新建数据标准，以使新数据也能在后续得到数据治理。但是，现有的数据治理方法，对于引入的新数据新建数据标准的效率较低，而且新建的标准容易与相关数据系统中的现有数据标准相冲突，从而导致后续根据新建标准及现有标准进行数据治理时效率较低，并容易出现错误，从而不利于相关数据系统的正常运作，对银行业务造成不良影响。

技术实现思路

[0003]本专利技术的一个目的在于提供一种数据治理方法，以解决现有的数据治理的效率较低，数据治理时出现错误的概率较高，从而不利于相关数据系统的正常运作，进而对银行业务造成不良影响的问题。本专利技术的另一个目的在于提供一种数据治理装置。本专利技术的再一个目的在于提供一种计算机设备。本专利技术的还一个目的在于提供一种可读介质。
[0004]为了达到以上目的，本专利技术的一方面公开了一种数据治理方法，所述方法包括：
[0005]根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息；
[0006]根据新引入数据，建立所述新建数据标准的非遗传属性信息；
[0007]根据所述遗传属性信息和非遗传属性信息，生成新建数据标准，将所述新建数据标准添加到所述现有标准中得到更新后总标准，以根据所述更新后总标准确定数据治理的治理范围，从而根据所述治理范围进行数据治理。
[0008]可选的，所述根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息，包括：
[0009]根据所述新建标识和现有标准，得到与所述新建标识对应的近似数据标准的近似标识；
[0010]根据所述近似标识，得到与所述新建标识对应的上级数据标准的上级标识；
[0011]根据所述上级标识，得到所述新建数据标准的遗传属性信息。
[0012]可选的，所述根据所述新建标识和现有标准，得到与所述新建标识对应的近似数据标准的近似标识，包括：
[0013]对所述新建标识进行语义分析和指标分析，从现有标准中得到与所述新建标识对应的近似数据标准的近似标识。
[0014]可选的，所述根据所述近似标识，得到与所述新建标识对应的上级数据标准的上级标识，包括：
[0015]根据所述近似标识，得到所述近似数据标准在数据标准谱系中的相关节点；
[0016]查询所述相关节点在所述数据标准谱系中的根节点，得到所述根节点对应的根节点数据标准的根节点标识，将所述根节点标识作为所述上级标识。
[0017]可选的，所述根据所述上级标识，得到所述新建数据标准的遗传属性信息，包括：
[0018]根据所述上级标识，得到上级数据标准；
[0019]根据所述上级数据标准，得到所述遗传属性信息。
[0020]可选的，所述根据新引入数据，建立所述新建数据标准的非遗传属性信息，包括：
[0021]根据所述新引入数据，得到与所述新引入数据对应的新属性；
[0022]根据所述新属性，建立所述新建数据标准的非遗传属性信息。
[0023]可选的，所述根据所述遗传属性信息和非遗传属性信息，生成新建数据标准，包括：
[0024]根据所述非遗传属性信息，得到非遗传属性和所述非遗传属性信息的第一子标准；
[0025]根据所述遗传属性信息，得到遗传属性和所述遗传属性信息的第二子标准；
[0026]根据所述遗传属性、第二子标准、非遗传属性和第一子标准，生成新建数据标准。
[0027]可选的，所述将所述新建数据标准添加到所述现有标准中得到更新后总标准，包括：
[0028]根据所述相关节点，得到所述相关节点在数据标准谱系中的父节点；
[0029]将所述新建数据标准作为所述父节点的另一个子节点添加到所述数据标准谱系中，得到更新后总标准；
[0030]其中，所述数据标准谱系在被添加所述另一个子节点之前的所有节点的数据标准的集合即为所述现有标准。
[0031]可选的，进一步包括：
[0032]在所述工作人员根据所述治理范围进行数据治理后，获取所有数据标准包括的数据标准属性总数、所有数据表的数据表属性总数、数据记录属性符合当前已有数据标准的第一数据记录数、所述第一数据记录中属性值无空缺的第二数据记录数、所述第二数据记录中所有属性值都符合所述已有数据标准的第三数据记录数；
[0033]根据所述数据标准属性总数、数据表属性总数、第一数据记录数、第二数据记录数和第三数据记录数，得到数据治理质量指标，将所述数据治理质量指标反馈给所述工作人员，以使所述工作人员根据所述数据治理质量指标，对数据治理质量进行改进。
[0034]可选的，所述根据所述数据标准属性总数、数据表属性总数、第一数据记录数、第二数据记录数和第三数据记录数，得到数据治理质量指标，包括：
[0035]根据所述数据标准属性总数和数据表属性总数，得到覆盖率；
[0036]根据所述第一数据记录数和第二数据记录数，得到完整率；
[0037]根据所述第一数据记录数和第三数据记录数，得到准确率；
[0038]根据所述覆盖率、完整率和准确率，得到数据治理质量指标。
[0039]为了达到以上目的，本专利技术的另一方面公开了一种数据治理装置，包括：
[0040]遗传属性信息确定模块，用于根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息；
[0041]非遗传属性信息确定模块，用于根据新引入数据，建立所述新建数据标准的非遗传属性信息；
[0042]新建模块，用于根据所述遗传属性信息和非遗传属性信息，生成新建数据标准，将所述新建数据标准添加到所述现有标准中得到更新后总标准，以根据所述更新后总标准确定数据治理的治理范围，从而根据所述治理范围进行数据治理。
[0043]本专利技术还公开了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述方法。
[0044]本专利技术还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。
[0045]本专利技术提供的数据治理方法和装置，通过根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息，能够根据新建标识反映出的新建数据标准的特性从现有的数据标准中得到可以适用于新建数据标准的通用的属性信息即遗传属性信息，从而能够使建立新建数据标准时无需再对遗传属性信息进行额外的设计和建立，进而提高生成新建数据标准的效率和新建数据标准与现有标准的兼容性，进而提高数据治理的效率并减少数据治理时出现错误的概率。通过根据新引入数据，建立所述新建数据标准的非遗传属性信息，能够在新引入的新数据无法归入到现有数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据治理方法，其特征在于，包括：根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息；根据新引入数据，建立所述新建数据标准的非遗传属性信息；根据所述遗传属性信息和非遗传属性信息，生成新建数据标准，将所述新建数据标准添加到所述现有标准中得到更新后总标准，以根据所述更新后总标准确定数据治理的治理范围，从而根据所述治理范围进行数据治理。2.根据权利要求1所述的方法，其特征在于，所述根据新建数据标准的新建标识和现有标准，得到所述新建数据标准的遗传属性信息，包括：根据所述新建标识和现有标准，得到与所述新建标识对应的近似数据标准的近似标识；根据所述近似标识，得到与所述新建标识对应的上级数据标准的上级标识；根据所述上级标识，得到所述新建数据标准的遗传属性信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述新建标识和现有标准，得到与所述新建标识对应的近似数据标准的近似标识，包括：对所述新建标识进行语义分析和指标分析，从现有标准中得到与所述新建标识对应的近似数据标准的近似标识。4.根据权利要求2所述的方法，其特征在于，所述根据所述近似标识，得到与所述新建标识对应的上级数据标准的上级标识，包括：根据所述近似标识，得到所述近似数据标准在数据标准谱系中的相关节点；查询所述相关节点在所述数据标准谱系中的根节点，得到所述根节点对应的根节点数据标准的根节点标识，将所述根节点标识作为所述上级标识。5.根据权利要求2所述的方法，其特征在于，所述根据所述上级标识，得到所述新建数据标准的遗传属性信息，包括：根据所述上级标识，得到上级数据标准；根据所述上级数据标准，得到所述遗传属性信息。6.根据权利要求1所述的方法，其特征在于，所述根据新引入数据，建立所述新建数据标准的非遗传属性信息，包括：根据所述新引入数据，得到与所述新引入数据对应的新属性；根据所述新属性，建立所述新建数据标准的非遗传属性信息。7.根据权利要求1所述的方法，其特征在于，所述根据所述遗传属性信息和非遗传属性信息，生成新建数据标准，包括：根据所述非遗传属性信息，得到非遗传属性和所述非遗传属性信息的第一子标准；根据所述遗传属性信息，得到遗传属性和所述遗传属性信息的第二子标准；根据所述遗传属性、第二子标准、非遗传属性和第一子标准，生成新建数据标准。8.根据权利要求4所述的方法，其特征在于，所述将所述新建数据标准...

【专利技术属性】
技术研发人员：陈烨，吴庭玮，汪婕，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：