一种数据治理方法、装置、设备及存储介质制造方法及图纸

技术编号:31837812 阅读:22 留言:0更新日期:2022-01-12 13:16
本申请涉及数据治理领域,提供了一种数据治理方法、装置、设备及存储介质,所述方法包括:获取目标数据,并确定所述目标数据内的元数据;确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱;依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果;当所述治理效果不达标时,依据所述治理效果调整当前治理规则;其中,所述治理效果不达标为治理值不在预设范围之内。从而实现通过数据关系图谱分析,可监控到数据平台的资源利用情况,自动做出合理的治理,优化数据平台开发流程,提供数据产品质量;结合图数据库和NLP技术,可以打通IT和业务的壁垒,高效沟通,规范从需求侧到开发侧的流程。发侧的流程。发侧的流程。

【技术实现步骤摘要】
一种数据治理方法、装置、设备及存储介质


[0001]本申请涉及数据治理领域,特别是一种数据治理方法、装置、设备及存储介质。

技术介绍

[0002]数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行,关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。
[0003]数据治理成功的关键在于元数据管理,即赋予数据上下文和含义的参考框架。经过有效治理的元数据可提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义的可问责性,最终提供用于满足合规性的审计跟踪。元数据管理成为一项重要功能,让IT(Internet Technology,互联网技术)部门得以监视复杂数据集成环境中的变化,同时交付可信、安全的数据。因此,良好的元数据管理工具在全局数据治理中起到了核心作用。
[0004]随着大数据和AI(Artificial Intelligence,人工智能)应用的普及,无论是新兴的互联网公司,还是从传统模式过渡到IT科技领域的企业,其拥有的结构化和非结构化的数据量急剧增长,数据类型复杂多样。在维护高昂的资源成本的同时,企业并不清楚自己拥有的数据具备怎么样的资产价值,也不能从非标准化的数据中获取足够的信息来支撑业务或做经营决策。在这样的背景下,需要一套有效的数据治理方法和系统,把海量杂乱的数据治理起来,用数据治理平台、赋能业务。

技术实现思路

[0005]鉴于所述问题,提出了本申请以便提供一套有效的数据治理方法,能够把海量杂乱的数据治理起来,通过用数据治理平台并赋能业务的问题的一种数据治理方法、装置、设备及存储介质,包括:
[0006]一种数据治理方法,包括:
[0007]获取目标数据,并确定所述目标数据内的元数据;其中,所述元数据类型包括技术类型、操作类型和业务类型;
[0008]确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱;
[0009]依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果;
[0010]当所述治理效果不达标时,依据所述治理效果调整当前治理规则;其中,所述治理效果不达标为治理值不在预设范围之内。
[0011]进一步地,所述确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱的步骤,包括:
[0012]确定所述目标数据相应的规范信息;其中,所述规范信息类型与所述元数据类型一一对应;
[0013]依据各类型的所述规范信息和对应的所述元数据生成所述关联关系;
[0014]依据所述目标数据和所述关联关系生成所述数据关系图谱。
[0015]进一步地,所述依据各类型的所述规范信息和对应的所述元数据生成所述关联关系的步骤,包括:
[0016]依据各类型的所述元数据和图数据库生成节点信息和属性信息;
[0017]依据各类型的所述规范信息生成对应关系;
[0018]依据所述节点信息、所述属性信息和所述对应关系生成所述关联关系。
[0019]进一步地,所述依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果的步骤,包括:
[0020]依据所述数据关系图谱获取数据对象;
[0021]依据所述数据对象和业务需求生成标准数据;
[0022]依据所述标准数据确定在所述当前治理规则下的所述治理效果。
[0023]进一步地,所述依据所述数据对象和业务需求生成标准数据的步骤,包括:
[0024]依据所述数据对象确定数据信息;其中,所述数据信息包括数据对象标签、数据对象属性和数据对象关系;
[0025]依据所述数据对象标签、所述数据对象属性、所述数据对象关系和所述业务需求生成所述标准数据。
[0026]进一步地,所述依据所述数据对象标签、所述数据对象属性、所述数据对象关系和所述业务需求生成所述标准数据的步骤,包括:
[0027]依据所述数据对象标签、所述数据对象属性、所述数据对象关系和所述业务需求生成标准编码信息;
[0028]依据所述标准编码信息获取标准指标、标准维度和标准标签;
[0029]依据所述标准指标、所述标准维度和所述标准标签生成所述标准数据。
[0030]进一步地,所述依据所述标准数据确定在所述当前治理规则下的所述治理效果的步骤,包括:
[0031]依据所述标准数据确定所述当前治理规则;其中,所述当前治理规则包括资源利用率和合规率;
[0032]依据所述标准数据、所述资源利用率和所述合规率生成所述治理效果。
[0033]本专利技术一实施例还公开了一种数据治理装置,所述装置包括:
[0034]获取模块,用于获取目标数据,并确定所述目标数据内的元数据;其中,所述元数据类型包括技术类型、操作类型和业务类型;
[0035]生成模块,用于确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱;
[0036]确定模块,用于依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果;
[0037]调整模块,用于当所述治理效果不达标时,依据所述治理效果调整当前治理规则;其中,所述治理效果不达标为治理值不在预设范围之内。
[0038]本专利技术一实施例还公开了一种计算机设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实
现如上所述的一种数据治理方法的步骤。
[0039]本专利技术一实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的一种数据治理方法的步骤。
[0040]本申请具有以下优点:
[0041]在本申请的实施例中,通过获取目标数据,并确定所述目标数据内的元数据;其中,所述元数据类型包括技术类型、操作类型和业务类型;确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱;依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果;当所述治理效果不达标时,依据所述治理效果调整当前治理规则;其中,所述治理效果不达标为治理值不在预设范围之内。从而实现通过数据关系图谱分析,可监控到数据平台的资源利用情况,自动做出合理的治理,优化数据平台开发流程,提供数据产品质量;通过结合图数据库和NLP(Natural Language Processing,自然语言处理)技术,可以打通IT和业务的壁垒,高效沟通,规范从需求侧到开发侧的流程。
附图说明
[0042]为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0043]图1本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据治理方法,其特征在于,包括:获取目标数据,并确定所述目标数据内的元数据;其中,所述元数据类型包括技术类型、操作类型和业务类型;确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱;依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果;当所述治理效果不达标时,依据所述治理效果调整当前治理规则;其中,所述治理效果不达标为治理值不在预设范围之内。2.根据权利要求1所述的方法,其特征在于,所述确定所述目标数据之间的关联关系,并依据所述关联关系生成数据关系图谱的步骤,包括:确定所述目标数据相应的规范信息;其中,所述规范信息类型与所述元数据类型一一对应;依据各类型的所述规范信息和对应的所述元数据生成所述关联关系;依据所述目标数据和所述关联关系生成所述数据关系图谱。3.根据权利要求2所述的方法,其特征在于,所述依据各类型的所述规范信息和对应的所述元数据生成所述关联关系的步骤,包括:依据各类型的所述元数据和图数据库生成节点信息和属性信息;依据各类型的所述规范信息生成对应关系;依据所述节点信息、所述属性信息和所述对应关系生成所述关联关系。4.根据权利要求1所述的方法,其特征在于,所述依据所述数据关系图谱生成标准数据,并依据所述标准数据确定在当前治理规则下的治理效果的步骤,包括:依据所述数据关系图谱获取数据对象;依据所述数据对象和业务需求生成标准数据;依据所述标准数据确定在所述当前治理规则下的所述治理效果。5.根据权利要求4所述的方法,其特征在于,所述依据所述数据对象和业务需求生成标准数据的步骤,包括:依据所述数据对象确定数据信息;其中,所述数据信息包括数据对象标签、数据对象属性和数据对象关系;依据所述数据对象标签、所述数...

【专利技术属性】
技术研发人员:石娟
申请(专利权)人:中国平安财产保险股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1