元数据类型划分方法及电子设备、存储介质技术

本申请公开了一种元数据类型划分方法及电子设备、计算机可读存储介质，本申请提供的方案包括：获取目标大数据环境下的元数据的场信息；根据所述场信息构建目标图网络，其中，目标图网络中的节点表示元数据，边表示对应连接的两个元数据关联的场信息；在目标图网络中确定元数据的场信息的权重；基于由目标图网络中节点对应的节点数据确定的样本和标签，对节点的类型判别模型进行训练，其中，所述标签包括节点表示的元数据对应所述目标大数据环境的应用类型，所述样本的样本特征包括节点表示的元数据的场信息；基于所述类型判别模型对所述目标图网络中的节点进行应用类型划分。目标图网络中的节点进行应用类型划分。目标图网络中的节点进行应用类型划分。

【技术实现步骤摘要】
元数据类型划分方法及电子设备、存储介质


[0001]本申请涉及大数据处理领域，尤其涉及一种元数据类型划分方法及电子设备、计算机可读存储介质。

技术介绍

[0002]随着大数据应用的广泛普及，大数据环境下如何做好海量数据的管理已逐渐成为提升大数据能力的重点工作。海量数据的管理通常是通过元数据的方式来对进行管理，而在海量数据中的元数据通常也是海量级别。因此，如何能准确、高效地对元数据进行类别自动划分，提升大数据环境下的数据质量管理的效率，是目前需要解决的技术问题。

技术实现思路

[0003]本申请实施例的目的是提供一种元数据类型划分方法及电子设备、计算机可读存储介质，用以解决如何能准确、高效实现对元数据类别自动划分的问题。
[0004]为了解决上述技术问题，本说明书是这样实现的：
[0005]第一方面，提供了一种元数据类型划分方法，包括：获取目标大数据环境下的元数据的场信息；根据所述场信息构建目标图网络，其中，目标图网络中的节点表示元数据，边表示对应连接的两个元数据关联的场信息；在目标图网络中确定元数据的场信息的权重；基于由目标图网络中节点对应的节点数据确定的样本和标签，对节点的类型判别模型进行训练，其中，所述标签包括节点表示的元数据对应所述目标大数据环境的应用类型，所述样本的样本特征包括节点表示的元数据的场信息；基于所述类型判别模型对所述目标图网络中的节点进行应用类型划分。
[0006]可选的，所述场信息包括元数据的创建时间、元数据的描述字段、元数据所属表的名称和元数据所属表的描述字段，根据所述场信息构建目标图网络，包括：
[0007]根据元数据的创建时间、元数据的描述字段、元数据所属表的名称和元数据所属表的描述字段，确定与其他元数据具有上下文引用关系的第一类元数据；
[0008]以各第一类元数据为节点，以各第一类元数据所属表的描述字段为边，构建第一类型图网络。
[0009]可选的，所述场信息包括元数据的数据类型，根据所述场信息构建目标图网络，包括：
[0010]根据元数据的数据类型，获取目标脚本中关于目标专题的第二类元数据，所述目标脚本用于记录所述目标专题的分析数据或应用数据；
[0011]以各第二类元数据为节点，构建所述目标脚本对应的各第二类元数据的全连接网络；
[0012]以同时出现在不同脚本对应的全连接网络中的相同第二元数据之间的连线为边，构建第二类型图网络。
[0013]可选的，所述场信息包括元数据的名称或描述字段，根据所述场信息构建目标图
网络，包括：
[0014]确定存在相同的元数据名称或描述字段的第三类元数据；
[0015]以各第三类元数据为节点，以各第三类元数据对应的相同的元数据名称或描述字段为边，构建第三类型图网络。
[0016]可选的，在目标图网络中确定元数据的场信息的权重，包括：
[0017]确定目标元数据对应的目标场信息的排序值；
[0018]对所述排序值进行隐因子编码，得到所述目标场信息的权重。
[0019]可选的，所述目标图网络仅包括单个类型的图网络，
[0020]基于目标图网络中节点对应的节点数据确定的样本和标签，对节点的类型判别模型进行训练，包括：
[0021]基于所述单个类型的图网络中节点对应的节点数据确定的样本和标签，对所述类型判别模型进行训练，直至所述单个类型的图网络中节点对应的场信息的权重收敛。
[0022]可选的，所述目标图网络包括多个类型的子图网络，
[0023]基于目标图网络中节点对应的节点数据确定的样本和标签，对节点的类型判别模型进行训练，包括：
[0024]确定各类型子图网络对应的网络权重及各类型子图网络对应的子类型判别模型；
[0025]根据各类型子图网络对应的网络权重，生成包含各类型子图网络的类型图网络，所述类型图网络对应的类型判别模型包括各类型子图网络对应的各子类型判别模型；
[0026]基于各类型子图网络中节点对应的节点数据确定的样本和标签，对对应的子类型判别模型进行训练，直至各类型子图网络中节点对应的场信息的权重及各网络权重收敛，得到所述类型判别模型。
[0027]可选的，在对节点的类型判别模型进行训练之前，还包括：
[0028]根据所述目标图网络中目标节点的权重，与所述目标节点N跳以内的各邻居节点的权重，计算所述目标节点与各邻居节点的相似系数；
[0029]通过所述相似系数计算出所述目标节点与各邻居节点之间的权重；
[0030]根据各邻居节点的场信息和所述目标节点与各邻居节点之间的权重，计算所述目标节点的融合场信息；
[0031]将所述目标节点的融合场信息作为对应样本特征包括的元数据的场信息。
[0032]第二方面，提供了一种电子设备，包括：存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的方法的步骤。
[0033]第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
[0034]在本申请实施例中，通过获取目标大数据环境下的元数据的场信息，并根据所述场信息构建目标图网络和在目标图网络中确定元数据的场信息的权重，基于由目标图网络中节点对应的节点数据确定的样本和标签，对节点的类型判别模型进行训练，基于所述类型判别模型对所述目标图网络中的节点进行应用类型划分，由此可以准确、高效地对元数据进行类别自动划分，提升大数据环境下的数据质量管理的效率。
附图说明
[0035]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0036]图1是本申请实施例的元数据类型划分方法的流程示意图。
[0037]图2是本申请第一实施例的图网络的网络结构图。
[0038]图3是本申请第二实施例的图网络的网络结构图。
[0039]图4是本申请第三实施例的图网络的网络结构图。
[0040]图5是本申请实施例的元数据类型划分方法的示例流程图。
[0041]图6是本申请实施例的电子设备的结构方框图。
具体实施方式
[0042]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
[0043]为了解决现有技术中存在的问题，本申请实施例提供一种元数据类型划分方法，如图1所示，包括以下步骤：
[0044]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据类型划分方法，其特征在于，包括：获取目标大数据环境下的元数据的场信息；根据所述场信息构建目标图网络，其中，目标图网络中的节点表示元数据，边表示对应连接的两个元数据关联的场信息；在目标图网络中确定元数据的场信息的权重；基于由目标图网络中节点对应的节点数据确定的样本和标签，对节点的类型判别模型进行训练，其中，所述标签包括节点表示的元数据对应所述目标大数据环境的应用类型，所述样本的样本特征包括节点表示的元数据的场信息；基于所述类型判别模型对所述目标图网络中的节点进行应用类型划分。2.如权利要求1所述的方法，其特征在于，所述场信息包括元数据的创建时间、元数据的描述字段、元数据所属表的名称和元数据所属表的描述字段，根据所述场信息构建目标图网络，包括：根据元数据的创建时间、元数据的描述字段、元数据所属表的名称和元数据所属表的描述字段，确定与其他元数据具有上下文引用关系的第一类元数据；以各第一类元数据为节点，以各第一类元数据所属表的描述字段为边，构建第一类型图网络。3.如权利要求1所述的方法，其特征在于，所述场信息包括元数据的数据类型，根据所述场信息构建目标图网络，包括：根据元数据的数据类型，获取目标脚本中关于目标专题的第二类元数据，所述目标脚本用于记录所述目标专题的分析数据或应用数据；以各第二类元数据为节点，构建所述目标脚本对应的各第二类元数据的全连接网络；以同时出现在不同脚本对应的全连接网络中的相同第二元数据之间的连线为边，构建第二类型图网络。4.如权利要求1所述的方法，其特征在于，所述场信息包括元数据的名称或描述字段，根据所述场信息构建目标图网络，包括：确定存在相同的元数据名称或描述字段的第三类元数据；以各第三类元数据为节点，以各第三类元数据对应的相同的元数据名称或描述字段为边，构建第三类型图网络。5.如权利要求2至4中任一项所述的方法，其特征在于，在目标图网络中确定元数据的场信息的权重，包括：确定目标元数据对应的目标场信息的排序值；对所述排序值进行隐因子编码，得到所述目标场信息的权重...

【专利技术属性】
技术研发人员：祝希路，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：