元数据管理方法及系统技术方案

本申请实施例提供一种元数据管理方法及系统，涉及计算机信息技术领域。将需管理的数据进行数据内容分析得到对应的关联数据，获取当前需管理的数据对应的当前关联数据，根据预设的邻近规则获取所述当前关联数据的邻近关联数据，将当前关联数据与邻近关联数据按上下文顺序形成需分类的输入源信息，将需分类的输入源信息输入经训练得到的深度学习模型得到分类结果，根据分类结果得到所述当前需管理的数据对应的数据管理结果。通过采用深度学习模型，可通过大数据量的训练数据构建高准确率的深度学习模型，将通信数据中的元数据及其描述的数据进行分类管理，提高数据管理结果的可靠性，进而提升通信数据规范管理后的数据利用价值。值。值。

【技术实现步骤摘要】
元数据管理方法及系统


[0001]本申请涉及数据信息处理
，具体而言，涉及一种元数据管理方法及系统。

技术介绍

[0002]通信数据泛指所有通信过程中的交互信息，通信数据包括语音信息、视频信息及文本信息等，随着即时通信软件(比如，QQ、微信及钉钉等）的兴起，通信数据以指数级速度增长。从庞杂的通信数据中获取有价值的数据信息，是需要本领域技术人员急需要解决的技术问题。

技术实现思路

[0003]为了至少克服现有技术中的上述不足，本申请的目的在于提供一种元数据管理方法及系统，将需管理的数据进行数据内容分析得到对应的关联数据，获取当前需管理的数据对应的当前关联数据，根据预设的邻近规则获取所述当前关联数据的邻近关联数据，将当前关联数据与邻近关联数据按上下文顺序形成需分类的输入源信息，将需分类的输入源信息输入经训练得到的深度学习模型，得到分类结果，根据分类结果得到所述当前需管理的数据对应的数据管理结果，通过采用深度学习模型，可通过大数据量的训练数据构建高准确率的深度学习模型，将通信数据中的元数据及其描述的数据进行分类管理，提高数据管理结果的可靠性，进而提升通信数据规范管理后的数据利用价值。
[0004]第一方面，本申请提供一种元数据管理方法，应用于元数据管理服务器，所述方法包括：获取通信数据记录，根据所述通信数据记录得到原始通信数据，将所述原始通信数据分解得到需管理的数据，其中，需管理的数据包括数据本身以及描述该数据的元数据；将所述需管理的数据进行数据内容分析得到对应的关联数据；获取当前需管理的数据对应的当前关联数据，根据预设的邻近规则获取所述当前关联数据的邻近关联数据，将当前关联数据与邻近关联数据按上下文顺序形成需分类的输入源信息；将所述需分类的输入源信息输入经训练得到的深度学习模型，得到分类结果；根据所述分类结果对所述当前需管理的数据中的元数据及元数据描述的数据进行数据管理其中，所述深度学习模型通过以下方式训练得到：获取样本通信数据，所述样本通信数据为历史通信数据，所述样本通信数据包括样本数据和对应的数据分类信息；将所述样本数据进行数据内容分析得到对应的关联样本数据；根据预设的邻近规则将各个关联样本数据作为标的关联样本数据，获取各个标的关联样本数据的邻近关联样本数据，将各个标的关联样本数据与匹配的邻近关联样本数据按上下文顺序形成各个初始训练信息，将各个初始训练信息与对应的标的关联样本数据的数据
分类信息构成训练数据；将所述训练数据输入深度学习模型进行训练，直到深度学习模型收敛，将收敛时得到的深度学习模型作为训练好的深度学习模型。
[0005]在一种可能的实现方式中，所述获取当前需管理的数据对应的当前关联数据，根据预设的邻近规则获取所述当前关联数据的邻近关联数据，将当前关联数据与邻近关联数据按上下文顺序形成的步骤包括：从当前关联数据的上文获取第一设定数量的上文关联数据；从当前关联数据的下文获取第二设定数量的下文关联数据；将所述上文关联数据、当前关联数据、下文关联数据按上下文顺序形成需分类的输入源信息。
[0006]在一种可能的实现方式中，所述将所述需管理的数据进行数据内容分析得到对应的关联数据的步骤包括：获取所需管理的数据与对应的关联数据之间的相关性比较结果，其中，所述所需管理的数据与对应的关联数据之间的相关性比较结果基于原始通信数据中所需管理的数据和关联数据之间的上下文数据序列获得；获取所述所需管理的数据与所述关联数据对于上下文语义的关联语义信息，根据所述关联语义信息获取对上下文中的关联数据进行校验得到的标的校验数据信息，其中，所述上下文中的关联数据集合包括关联数据和与所述关联数据对应的关联信息；从所述标的校验数据信息中确定出待校验的第一校验数据分量与第二校验数据分量，并获取所述第一校验数据分量与所述第二校验数据分量之间的第一数据分量关联参数，其中，所述第一校验数据分量在所述标的校验数据信息中出现的校验位置先于所述第二校验数据分量；根据所述第一数据分量关联参数确定所述第二校验数据分量所表示的所述关联数据对应的关联信息的状态，在所述关联数据对应的关联信息存在变化的标的关联信息的情况下，将所述第二校验数据分量进行数据内容分析，其中，对所述关联信息在所述关联数据处变化的过程进行数据内容分析。
[0007]在一种可能的实现方式中，所述获取所述第一校验数据分量与所述第二校验数据分量之间的第一数据分量关联参数的步骤，包括：对比所述第一校验数据分量的特征信息量和所述第二校验数据分量的特征信息量，得到第一校验数据分量关联参数；获取对比关联参数与所述第一校验数据分量关联参数之间的差异信息，作为所述第一数据分量关联参数，其中，所述对比关联参数为所述标的校验数据信息中第三校验数据分量和第四校验数据分量二者之间的第二校验数据分量关联参数，所述第三校验数据分量和所述第四校验数据分量是所述标的校验数据信息开始记录的标的校验位置中的校验数据分量。
[0008]在一种可能的实现方式中，所述根据所述第一数据分量关联参数确定所述第二校验数据分量所表示的所述关联数据对应的关联信息的状态的步骤，包括：获取与所述标的校验数据信息对应的关联标签，其中，所述关联标签包括：用于表示所述关联数据对应的关联信息处于第一关联位置状态的第一关联标签和用于表示所述关联
数据对应的关联信息处于第二关联位置状态的第二关联标签，其中，所述第二关联位置状态下所述关联数据对应的关联信息过渡量大于所述第一关联位置状态下所述关联数据对应的关联信息的过渡量；在所述第一数据分量关联参数不大于第一关联参数阈值、且所述关联标签为第一关联标签的情况下，确定所述关联数据对应的关联信息的状态为过渡状态，其中，所述过渡状态用于指示所述关联数据的关联过程存在所述标的关联信息；在所述第一数据分量关联参数不小于第二关联参数阈值、且所述关联标签为第二关联标签的情况下，确定所述关联数据对应的关联信息的状态为所述过渡状态；其中，在所述关联标签为所述第一关联标签、且所述第一数据分量关联参数小于所述第一关联参数阈值的情况下，清除所述第一关联标签；在所述关联标签为所述第二关联标签、且所述第一数据分量关联参数大于所述第一关联参数阈值且小于所述第二关联参数阈值的情况下，将所述第二关联标签变更为所述第一关联标签；在所述关联标签为所述第二关联标签、且所述第一数据分量关联参数小于所述第一关联参数阈值的情况下，清除所述第二关联标签。
[0009]在一种可能的实现方式中，在所述获取与所述标的校验数据信息对应的关联标签之前，所述方法还包括：检测所述标的校验数据信息是否预先设置有所述关联标签；在检测到所述标的校验数据信息未预先设置所述关联标签的情况下，确定所述标的校验数据信息中的第五校验数据分量与第六校验数据分量之间的第二数据关联参数，其中，所述第五校验数据分量在所述标的校验数据信息中出现的校验位置先于所述第六校验数据分量；在所述第二数据关联参数大于所述第一关联参数阈值且不大于所述第二关联参数阈值的情况下，生成所述第一关联标签；在所述第二数据关联参数大于所述第二关联参数阈值的情况下，生成所述第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据管理方法，应用于元数据管理服务器，其特征在于，所述方法包括：获取通信记录，根据所述通信记录得到原始通信数据，将所述原始通信数据分解得到需管理的数据，其中，需管理的数据包括数据本身以及描述该数据的元数据；将所述需管理的数据进行数据内容分析得到对应的关联数据；获取当前需管理的数据对应的当前关联数据，根据预设的邻近规则获取所述当前关联数据的邻近关联数据，将当前关联数据与邻近关联数据按上下文顺序形成需分类的输入源信息；将所述需分类的输入源信息输入经训练得到的深度学习模型，得到分类结果；根据所述分类结果对所述当前需管理的数据中的元数据及元数据描述的数据进行数据管理；其中，所述深度学习模型通过以下方式训练得到：获取样本通信数据，所述样本通信数据为历史通信数据，所述样本通信数据包括样本数据和对应的数据分类信息；将所述样本数据进行数据内容分析得到对应的关联样本数据；根据所述预设的邻近规则将各个关联样本数据作为标的关联样本数据，获取各个标的关联样本数据的邻近关联样本数据，将各个标的关联样本数据与匹配的邻近关联样本数据按上下文顺序形成各个初始训练信息，将各个初始训练信息与对应的标的关联样本数据的数据分类信息构成训练数据；将所述训练数据输入深度学习模型进行训练，直到深度学习模型收敛，将收敛时得到的深度学习模型作为训练好的深度学习模型。2.根据权利要求1所述的元数据管理方法，其特征在于，所述获取当前需管理的数据对应的当前关联数据，根据预设的邻近规则获取所述当前关联数据的邻近关联数据，将当前关联数据与邻近关联数据按上下文顺序形成的步骤包括：从当前关联数据的上文获取第一设定数量的上文关联数据；从当前关联数据的下文获取第二设定数量的下文关联数据；将所述上文关联数据、当前关联数据、下文关联数据按上下文顺序形成需分类的输入源信息。3.如权利要求1所述的元数据管理方法，其特征在于，所述将所述需管理的数据进行数据内容分析得到对应的关联数据的步骤包括：获取所需管理的数据与对应的关联数据之间的相关性比较结果，其中，所述所需管理的数据与对应的关联数据之间的相关性比较结果基于原始通信数据中所需管理的数据和关联数据之间的上下文数据序列获得；获取所述所需管理的数据与所述关联数据对于上下文语义的关联语义信息，根据所述关联语义信息获取对上下文中的关联数据进行校验得到的标的校验数据信息，其中，所述上下文中的关联数据集合包括关联数据和与所述关联数据对应的关联信息；从所述标的校验数据信息中确定出待校验的第一校验数据分量与第二校验数据分量，并获取所述第一校验数据分量与所述第二校验数据分量之间的第一数据分量关联参数，其中，所述第一校验数据分量在所述标的校验数据信息中出现的校验位置先于所述第二校验数据分量；
根据所述第一数据分量关联参数确定所述第二校验数据分量所表示的所述关联数据对应的关联信息的状态，在所述关联数据对应的关联信息存在变化的标的关联信息的情况下，将所述第二校验数据分量进行数据内容分析，对所述关联信息在所述关联数据处变化的过程进行数据内容分析。4.根据权利要求3所述的元数据管理方法，其特征在于，所述获取所述第一校验数据分量与所述第二校验数据分量之间的第一数据分量关联参数的步骤，包括：对比所述第一校验数据分量的特征信息量和所述第二校验数据分量的特征信息量，得到第一校验数据分量关联参数；获取对比关联参数与所述第一校验数据分量关联参数之间的差异信息，作为所述第一数据分量关联参数，其中，所述对比关联参数为所述标的校验数据信息中第三校验数据分量和第四校验数据分量二者之间的第二校验数据分量关联参数，所述第三校验数据分量和所述第四校验数据分量是所述标的校验数据信息开始记录的标的校验位置中的校验数据分量。5.根据权利要求3所述的元数据管理方法，其特征在于，所述根据所述第一数据分量关联参数确定所述第二校验数据分量所表示的所述关联数据对应的关联信息的状态的步骤，包括：获取与所述标的校验数据信息对应的关联标签，其中，所述关联标签包括：用于表示所述关联数据对应的关联信息处于第一关联位置状态的第一关联标签和用于表示所述关联数据对应的关联信息处于第二关联位置状态的第二关联标签，其中，所述第二关联位置状态下所述关联数据对应的关联信息过渡量大于所述第一关联位置状态下所述关联数据对应的关联信息的过渡量；在所述第一数据分量关联参数不大于第一关联参数阈值、且所述关联标签为第一关联标签的情况下，确定所述关联数据对应的关联信息的状态为过渡状态，其中，所述过渡状态用于指示所述关联数据的关联过程存在所述标的关联信息；在所述第一数据分量关联参数不小于第二关联参数阈值、且所述关联标签为第二关联标签的情况下，确定所述关...

【专利技术属性】
技术研发人员：鲁裕，毛倜，李翔，
申请(专利权)人：杭银消费金融股份有限公司，
类型：发明
国别省市：