一种基于数据图谱的元数据血缘关系与影响分析平台制造技术

本发明专利技术提供了一种基于数据图谱的元数据血缘关系与影响分析平台，包括：获取待分析数据，并识别所述待分析数据中的元数据；识别所述元数据的类别属性，并基于类别属性对所述元数据进行分类，同时，基于所述类别属性对所述元数据进行血缘分析与影响分析，构建所述元数据的上下逻辑关系；按照数据图谱的方式，将所述元数据的上下逻辑关系进行展示。通过对待分析数据进行分析，得到元数据，并确定元数据的类别，同时确定元数据与血缘关系和影响关系之间的上下逻辑关系，并采用数据图谱的形式进行展示，更高效的展示出元数据与血缘关系和影响关系之间的上下逻辑关系。关系之间的上下逻辑关系。关系之间的上下逻辑关系。

【技术实现步骤摘要】
一种基于数据图谱的元数据血缘关系与影响分析平台


[0001]本专利技术涉及计算机
，特别涉及一种基于数据图谱的元数据血缘关系与影响分析平台。

技术介绍

[0002]目前，在数据治理过程中，通过元数据血缘图可以实现数据融合处理的可追溯，目前对批量元数据血缘图展示的过程中，通常以大量的血缘链路线交叉展示，构成了一张极其复杂的关系型网图。
[0003]在现有技术中，通常采用通用的数据维护配置方案对元数据进行独立维护管理。但是，伴随着数据库中所存储的数据量以及数据种类的不断增加、数据库结构的不断复杂化，元数据的数据量也不断提高，其数据类型也越来越复杂。通用的数据维护配置方案已不能满足当前技术环境下的元数据管理需求。不能解决元数据的难以通过数据图谱方式分析展示问题，更高效的展示出元数据的血缘关联关系，因此，本专利技术提供一种基于数据图谱的元数据血缘关系与影响分析平台。

技术实现思路

[0004]本专利技术提供一种基于数据图谱的元数据血缘关系与影响分析平台，用以分析元数据与血缘关系和影响关系之间的上下逻辑关系，并通过数据图谱方式将元数据的血缘关联关系和影响关系之间的上下逻辑关系进行高效的展示。
[0005]本专利技术提供一种基于数据图谱的元数据血缘关系与影响分析平台，包括：
[0006]获取待分析数据，并识别所述待分析数据中的元数据；
[0007]识别所述元数据的类别属性，并基于类别属性对所述元数据进行分类，同时，基于所述类别属性对所述元数据进行血缘分析与影响分析，构建所述元数据的上下逻辑关系；
[0008]按照数据图谱的方式，将所述元数据的上下逻辑关系进行展示。
[0009]优选的，一种基于数据图谱的元数据血缘关系与影响分析平台，识别所述待分析数据中的元数据过程，包括：
[0010]获取待分析数据，并对所述待分析数据进行特征化处理，得到所述待分析数据中字段内容信息相对应的特征化数据；
[0011]根据预设的特征获取策略获取所述特征化数据中的字符特征；
[0012]构建识别模型，且所述识别模型中包括特征识别规则；
[0013]基于所述识别模型对所述字符特征进行识别，得到待分析数据中的元数据。
[0014]优选的，一种基于数据图谱的元数据血缘关系与影响分析平台，识别所述元数据的类别属性，包括：
[0015]获取所述元数据中的参数，并形成参数集；
[0016]对所述参数集进行标签计算得到当前标签集，同时，根据预设调节因子对所述当前标签集进行标签调节得到标准标签集；
[0017]根据预设的特征提取方法，从所述标准标签集中提取标签特征；
[0018]计算所述标签特征与预设元数据类别标签的相关性，根据所述相关性确定所述元数据的类别属性。
[0019]优选的，一种基于数据图谱的元数据血缘关系与影响分析平台，基于所述类别属性对所述元数据进行血缘分析与影响分析的过程，包括：
[0020]构建数据血缘关系模型，并通过所述数据血缘关系模型读取所述元数据，且通过数据工程手段形成各字段的数据特征；
[0021]以字段为单位，对所述元数据进行训练学习，查找所述元数据的数据源，具体包括；
[0022]识别所述元数据的数据类型，通过预设的回溯方式找到与所述元数据相对应的元数据对象，以及元数据对象之间的关系，并计算所述元数据对象与所述元数据之间的血缘相似度；
[0023]基于所述血缘相似度，确定所述元数据的数据源，并完成血缘关系的确定；
[0024]同时，以字段为单位，对所述元数据进行训练学习，确定所述元数据的影响范围，具体包括；
[0025]获取所述元数据的数据处理链路，并基于所述数据处理链路获取元数据影响范围库；
[0026]确定所述元数据与所述元数据影响范围库中的目标数据之间的交互信息，并根据所述交互信息确定所述元数据与目标数据之间的调用关系；
[0027]基于所述调用关系，确定所述元数据的影响关系；
[0028]通过预设的数据结构化解析规则，对所述元数据的血缘关系以及影响关系结构进行解析，并将所述元数据的血缘关系以及影响关系转化为数据图谱形式；
[0029]基于所述元数据的血缘关系以及影响关系，在所述数据图谱中创建与所述元数据对应的节点，并确定所述数据图谱中每个节点的度和关联节点，并根据所述每个节点的度确定所述关联节点的关联概率；
[0030]根据所述关联概率确定所述节点之间的连线，完成所述元数据与所述数据源以及影响范围中的目标数据之间的关系连接。
[0031]优选的，一种基于数据图谱的元数据血缘关系与影响分析平台，构建所述元数据的上下逻辑关系，包括：
[0032]构建要素影响关系模型，并根据所述要素影响关系模型计算所述元数据与所述数据源以及影响范围中目标数据的关联程度参数结果值；
[0033]调用预设的多维模型，对所述关联程度参数结果值进行分析，得到所述多维模型下所述元数据与所述数据源以及影响范围中目标数据的上下逻辑关系。
[0034]优选的，一种基于数据图谱的元数据血缘关系与影响分析平台，确定所述元数据的血缘关系以及影响关系之后，包括：
[0035]对所述元数据的血缘关系以及影响关系进行管理；
[0036]所述管理包括对所述元数据的血缘关系或影响关系进行删除或者修改；
[0037]所述元数据的血缘关系存储至第一数据块，所述元数据的影响关系存储至第二数据块；
[0038]当接收到数据删除请求时，获取所述第一数据块以及第二数据块，并与预设的数据模型库中预存的数据块进行对比；
[0039]若存在与所述第一数据块或第二数据块相同的数据块，则将所述第一数据块或第二数据块判定为待删除数据块；
[0040]根据所述待删除数据块生成删除信息项，并将所述删除信息项添加至删除队列；
[0041]基于所述删除队列中的删除顺序对所述第一数据块或第二数据块进行删除操作；
[0042]当接收到数据修改请求时，从所述第一数据块或第二数据块中提取待修改数据集，并将所述待修改数据集进行数据相关性计算得到数据相关性集；
[0043]将所述数据相关性集进行数据筛选得到待更新数据集，并根据预设的代价函数更新所述待更新数据集，得到更新值；
[0044]判断所述更新值与预设更新阈值的大小关系，直至所述更新值小于所述预设更新阈值时，生成数据修改集；
[0045]基于所述数据修改集完成对所述第一数据块或第二数据块中数据的修改。
[0046]优选的，一种基于数据图谱的元数据血缘关系与影响分析平台，按照数据图谱的方式，将所述元数据的上下逻辑关系进行展示，包括：
[0047]获取所述元数据血缘关系以及影响关系，并对所述元数据的血缘关系以及影响关系进行上下逻辑关系标准化处理，获取需要用所述数据展示的目标字段；
[0048]通过预设的迭代拆分算法解析所述目标字段之间的血缘关系以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数据图谱的元数据血缘关系与影响分析平台，其特征在于，包括：获取待分析数据，并识别所述待分析数据中的元数据；识别所述元数据的类别属性，并基于类别属性对所述元数据进行分类，同时，基于所述类别属性对所述元数据进行血缘分析与影响分析，构建所述元数据的上下逻辑关系；按照数据图谱的方式，将所述元数据的上下逻辑关系进行展示。2.如权利要求1所述的一种基于数据图谱的元数据血缘关系与影响分析平台，其特征在于，识别所述待分析数据中的元数据过程，包括：获取待分析数据，并对所述待分析数据进行特征化处理，得到所述待分析数据中字段内容信息相对应的特征化数据；根据预设的特征获取策略获取所述特征化数据中的字符特征；构建识别模型，且所述识别模型中包括特征识别规则；基于所述识别模型对所述字符特征进行识别，得到待分析数据中的元数据。3.如权利要求1所述的一种基于数据图谱的元数据血缘关系与影响分析平台，其特征在于，识别所述元数据的类别属性，包括：获取所述元数据中的参数，并形成参数集；对所述参数集进行标签计算得到当前标签集，同时，根据预设调节因子对所述当前标签集进行标签调节得到标准标签集；根据预设的特征提取方法，从所述标准标签集中提取标签特征；计算所述标签特征与预设元数据类别标签的相关性，根据所述相关性确定所述元数据的类别属性。4.如权利要求1所述的一种基于数据图谱的元数据血缘关系与影响分析平台，其特征在于，基于所述类别属性对所述元数据进行血缘分析与影响分析的过程，包括：构建数据血缘关系模型，并通过所述数据血缘关系模型读取所述元数据，且通过数据工程手段形成各字段的数据特征；以字段为单位，对所述元数据进行训练学习，查找所述元数据的数据源，具体包括；识别所述元数据的数据类型，通过预设的回溯方式找到与所述元数据相对应的元数据对象，以及元数据对象之间的关系，并计算所述元数据对象与所述元数据之间的血缘相似度；基于所述血缘相似度，确定所述元数据的数据源，并完成血缘关系的确定；同时，以字段为单位，对所述元数据进行训练学习，确定所述元数据的影响范围，具体包括；获取所述元数据的数据处理链路，并基于所述数据处理链路获取元数据影响范围库；确定所述元数据与所述元数据影响范围库中的目标数据之间的交互信息，并根据所述交互信息确定所述元数据与目标数据之间的调用关系；基于所述调用关系，确定所述元数据的影响关系；通过预设的数据结构化解析规则，对所述元数据的血缘关系以及影响关系结构进行解析，并将所述元数据的血缘关系以及影响关系转化为数据图谱形式；基于所述元数据的血缘关系以及影响关系，在所述数据图谱中创建与所述元数据对应的节点，并确定所述数据图谱中每个节点的度和关联节点，并根据所述每个节点的度确定
所述关联节点的关联概率；根据所述关联概率确定所述节点之间的连线，完成所述元数据与所述数据源以及影响范围中的目标数据之间的关系连接。5.如权利要求1所述的一种基于数据图谱的元数据血缘关系与影响分析平台，其特征在于，构建所述元数据的上下逻辑关系，包括：构建要素影响关系模型，并根据所述要素影响关系模型计算所述元数据与所述数据源以及影响范围中目标数据的关联程度参数结果值；调用预设的多维模型，对所述关联程度参数结果值进行分析，得到所述多维模型下所述元数据与所述数据源以及影响范围中目标数据的上下逻辑关系。6.如权利要求1所述的一种基于数据图谱的元数据血缘关系与影响分析平台，其特征在于，确定所述元数据的血缘关系以及影响关系之后，包括：对所...

【专利技术属性】
技术研发人员：金震，李明，曹朝辉，杨海建，
申请(专利权)人：北京三维天地科技股份有限公司，
类型：发明
国别省市：