多媒体数据的分类方法、分类模型的训练方法及相关装置制造方法及图纸

本申请实施例提供了一种多媒体数据的分类方法及相关装置，涉及人工智能、视频分类领域。该方法包括：获取包含至少两个标签的多媒体数据；提取多媒体数据对应的第一数据向量，和各标签分别对应的第一标签向量；基于第一数据向量在预设的样本数据库中进行分类检索，确定多媒体数据的第二数据向量；基于第一标签向量进行标签之间的共现关系分析，确定各标签的第二标签向量；基于第二数据向量和第二标签向量的相似度，确定多媒体数据的分类结果。本申请的实施有利于提升多媒体数据分类的准确度。请的实施有利于提升多媒体数据分类的准确度。请的实施有利于提升多媒体数据分类的准确度。

【技术实现步骤摘要】
多媒体数据的分类方法、分类模型的训练方法及相关装置


[0001]本申请涉及人工智能和数据分类
，具体而言，本申请涉及一种多媒体数据的分类方法、分类模型的训练方法及相关装置。

技术介绍

[0002]在多媒体数据的分类处理中，如是针对视频或图片进行分类时，一般是采用图卷积技术实现或利用多标签数据实现。然而通过图卷积进行分类时，可利用的信息局限于视频本身的属性，无法利用视频之间的信息进行分类，导致使用图卷积技术进行分类的准确度低；而利用多标签数据进行分类时，局限于人工设计的特征，可扩展性低，且无法利用标签之间的信息进行分类，导致基于多标签数据进行分类的准确度低。
[0003]因此，现有技术在进行多媒体数据的分类处理时，存在分类所利用信息具有局限性和分类精度低的问题。

技术实现思路

[0004]本申请实施例提供了一种多媒体数据的分类方法及相关装置，可以解决多媒体数据分类精度低的问题。所述技术方案如下：
[0005]根据本申请实施例的一个方面，提供了一种多媒体数据的分类方法，该方法包括：
[0006]获取包含至少两个标签的多媒体数据；
[0007]提取所述多媒体数据对应的第一数据向量，和各标签分别对应的第一标签向量；
[0008]基于所述第一数据向量在预设的样本数据库中进行分类检索，确定所述多媒体数据的第二数据向量；
[0009]基于所述第一标签向量进行标签之间的共现关系分析，确定各标签的第二标签向量；
[0010]基于所述第二数据向量和所述第二标签向量的相似度，确定所述多媒体数据的分类结果。
[0011]在一可行的实施例中，所述基于所述第一数据向量在预设的样本数据库中进行分类检索，确定所述多媒体数据的第二数据向量，包括：
[0012]针对所述多媒体数据，基于所述第一数据向量在预设的样本数据库中进行分类检索，得到第一样本数据；
[0013]针对各第一样本数据在所述样本数据库中进行分类检索，得到各第一样本数据分别对应的第二样本数据；
[0014]聚合所述多媒体数据、所述第一样本数据和所述第二样本数据分别对应的信息，得到所述多媒体数据的第二数据向量。
[0015]在一可行的实施例中，所述聚合所述多媒体数据、所述第一样本数据和所述第二样本数据分别对应的信息，得到所述多媒体数据的第二数据向量，包括：
[0016]针对各第一样本数据建立与所述多媒体数据的第一有向边，并将所述第一样本数
据确定为所述多媒体数据的一阶邻居；
[0017]针对各第二样本数据建立与其对应的第一样本数据的第二有向边，并将所述第二样本数据确定为所述多媒体数据的二阶邻居；
[0018]基于所述多媒体数据、所述第一有向边、所述一阶邻居、所述第二有向边和所述二阶邻居，生成数据有向图；
[0019]基于所述数据有向图进行信息聚合，得到所述多媒体数据的第二数据向量。
[0020]在一可行的实施例中所述基于所述数据有向图进行信息聚合，得到所述多媒体数据的第二数据向量，包括：
[0021]基于所述多媒体数据与所述一阶邻居之间的权重系数，计算所述一阶邻居的向量加权和，得到中间数据向量；
[0022]基于所述中间数据向量所表征的节点与所述二阶邻居之间的权重系数，计算所述二阶邻居的向量加权和，得到第二数据向量。
[0023]在一可行的实施例中，所述基于所述第一标签向量进行标签之间的共现关系分析，确定各标签的第二标签向量，包括：
[0024]针对各标签执行下述共现分析步骤：
[0025]基于所述第一标签向量在预设的样本标签库中进行共现关系分析，得到第一样本标签；
[0026]针对各第一样本标签在所述样本标签库中进行共现关系分析，得到各第一样本标签分别对应的第二样本标签；
[0027]聚合该标签、所述第一样本标签和所述第二样本标签分别对应的信息，得到该标签的第二标签向量。
[0028]在一可行的实施例中，所述共现关系分析包括：
[0029]在所述样本标签库中确定待分析的标签出现的第一频率；
[0030]在所述样本标签库中确定各样本标签与待分析的标签共同出现的第二频率；
[0031]将所述第二频率与所述第一频率的商大于预设值的样本标签，确定为所述待分析的标签具有共现关系的标签。
[0032]在一可行的实施例中，所述聚合该标签、所述第一样本标签和所述第二样本标签分别对应的信息，得到该标签的第二标签向量，包括：
[0033]针对各第一样本标签建立与该标签的第一关联边，并将所述第一样本标签确定为该标签的一阶邻居；
[0034]针对各第二样本标签建立与其对应的第一样本标签的第二关联边，并将所述第二样本标签确定为与该标签的二阶邻居；
[0035]基于该标签、所述第一关联边、该标签的一阶邻居、所述第二关联边和该标签的二阶邻居，生成标签无向图；
[0036]基于所述标签无向图进行信息聚合，得到该标签的第二标签向量。
[0037]在一可行的实施例中，所述基于所述标签无向图进行信息聚合，得到该标签的第二标签向量，包括：
[0038]基于该标签与该标签的一阶邻居之间的权重系数，计算该标签的一阶邻居的向量加权和，得到中间标签向量；
[0039]基于所述中间标签向量所表征的节点与该标签的二阶邻居之间的权重系数，计算该标签的二阶邻居的向量加权和，得到第二标签向量。
[0040]在一可行的实施例中，所述基于所述第二数据向量和所述第二标签向量的相似度，确定所述多媒体数据的分类结果，包括以下至少一项：
[0041]计算所述第二数据向量与各所述第二标签向量之间的相似度得分，将相似度得分最高且大于第一预设阈值的至少一个标签确定为所述多媒体数据的分类结果；
[0042]计算所述第二数据向量与各所述第二标签向量之间的相似度得分，将相似度得分低于第二预设阈值的至少一个标签确定为所述多媒体数据标记错误的标签；
[0043]计算所述第二数据向量与各所述第二标签向量之间的相似度得分，若存在任一相似度得分大于第三预设阈值，则确定所述多媒体数据需要补充额外的标签。
[0044]本申请实施例的另一个方面，还提供了一种分类模型的训练方法，包括：
[0045]获取训练数据，所述训练数据包括样本多媒体数据，以及与该样本多媒体数据对应的样本标签和真实标签；
[0046]将所述样本多媒体数据与样本标签输入所述分类模型，得到与所述样本多媒体数据对应的预测数据向量，以及与所述样本标签对应的预测标签向量；基于所述预测数据向量与所述预测标签向量之间的相似度，以及所述真实标签确定损失值，基于所述损失值调整所述分类模型的网络参数；
[0047]其中，训练所得的分类模型用于执行上述的多媒体数据的分类方法。
[0048]根据本申请实施例的另一个方面，提供了一种多媒体数据的分类装置，该装置包括：
[0049]获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多媒体数据的分类方法，其特征在于，包括：获取包含至少两个标签的多媒体数据；提取所述多媒体数据对应的第一数据向量，和各标签分别对应的第一标签向量；基于所述第一数据向量在预设的样本数据库中进行分类检索，确定所述多媒体数据的第二数据向量；基于所述第一标签向量进行标签之间的共现关系分析，确定各标签的第二标签向量；基于所述第二数据向量和所述第二标签向量的相似度，确定所述多媒体数据的分类结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一数据向量在预设的样本数据库中进行分类检索，确定所述多媒体数据的第二数据向量，包括：针对所述多媒体数据，基于所述第一数据向量在预设的样本数据库中进行分类检索，得到第一样本数据；针对各第一样本数据在所述样本数据库中进行分类检索，得到各第一样本数据分别对应的第二样本数据；聚合所述多媒体数据、所述第一样本数据和所述第二样本数据分别对应的信息，得到所述多媒体数据的第二数据向量。3.根据权利要求2所述的方法，其特征在于，所述聚合所述多媒体数据、所述第一样本数据和所述第二样本数据分别对应的信息，得到所述多媒体数据的第二数据向量，包括：针对各第一样本数据建立与所述多媒体数据的第一有向边，并将所述第一样本数据确定为所述多媒体数据的一阶邻居；针对各第二样本数据建立与其对应的第一样本数据的第二有向边，并将所述第二样本数据确定为所述多媒体数据的二阶邻居；基于所述多媒体数据、所述第一有向边、所述一阶邻居、所述第二有向边和所述二阶邻居，生成数据有向图；基于所述数据有向图进行信息聚合，得到所述多媒体数据的第二数据向量。4.根据权利要求3所述的方法，其特征在于，所述基于所述数据有向图进行信息聚合，得到所述多媒体数据的第二数据向量，包括：基于所述多媒体数据与所述一阶邻居之间的权重系数，计算所述一阶邻居的向量加权和，得到中间数据向量；基于所述中间数据向量所表征的节点与所述二阶邻居之间的权重系数，计算所述二阶邻居的向量加权和，得到第二数据向量。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一标签向量进行标签之间的共现关系分析，确定各标签的第二标签向量，包括：针对各标签执行下述共现分析步骤：基于所述第一标签向量在预设的样本标签库中进行共现关系分析，得到第一样本标签；针对各第一样本标签在所述样本标签库中进行共现关系分析，得到各第一样本标签分别对应的第二样本标签；聚合该标签、所述第一样本标签和所述第二样本标签分别对应的信息，得到该标签的
第二标签向量。6.根据权利要求5所述的方法，其特征在于，所述共现关系分析包括：在所述样本标签库中确定待分析的标签出现的第一频率；在所述样本标签库中确定各样本标签与待分析的标签共同出现的第二频率；将所述第二频率与所述第一频率的商大于预设值的样本标签，确定为所述待分析的标签具有共现关系的标签。7.根据权利要求5所述的方法，其特征在于，所述聚合该标签、所述第一样本标签和所述第二样本标签分别对应的信息，得到该标签的第二标签向量，包括：针对各第一样本标签建立与该标签的第一关联边，并将所述第一样本标签确定为该标签的一阶邻居；针对各第二样本标签建立与其对应的第一样本标签的第二关联边，并将所述第二样本标签确定为与该标签的二阶邻居；基于该标签、所述第一关联边、该标签的一阶邻居、所述第二关联边和该标签的二阶邻居，生成标签无向图；基于所述标签无向图进行信息聚合，得到该标签的第二标签向量。8.根据权利要求7...

【专利技术属性】
技术研发人员：刘楚妮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：