视频标签预测模型的处理方法、视频标签预测方法和装置制造方法及图纸

本申请涉及一种视频标签预测模型的处理方法、视频标签预测方法、装置、计算机设备、存储介质和计算机程序产品，可应用于视频标签预测场景、视频分类场景、视频推荐场景等。视频标签预测模型的处理方法包括：将样本视频划分为多个等长的视频片段，通过视频标签预测模型分别对各视频片段进行标签预测，获得各视频片段分别对应的片段标签预测结果，将各视频片段对应的片段标签预测结果中，对应相同标注标签的概率进行融合，获得样本视频对应的视频标签预测结果，根据基于样本视频的至少一个标注标签与样本视频属于各标注标签的概率所构建的预测损失训练视频标签预测模型。采用本方法训练后的视频标签预测模型能够提升视频标签预测准确性。准确性。准确性。

【技术实现步骤摘要】
视频标签预测模型的处理方法、视频标签预测方法和装置


[0001]本申请涉及计算机
，特别是涉及一种视频标签预测模型的处理方法、视频标签预测方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着计算机技术和互联网技术的发展，视频成为人们获取信息的重要渠道之一，例如直播视频可以为人们提供实时的信息，电商视频可以为人们提供商品的信息，自媒体视频可以为人们提供生活中多方面的信息，等等。
[0003]在一些场景中，需要识别视频所属的视频标签，以基于视频标签对视频进行分类，或基于视频标签向用户推荐视频等。例如，对于《猫和老鼠》动画视频，识别其所属的标签为“动画”、“猫和老鼠”、“汤姆”等。目前，通常采用的视频标签识别方式为：提取目标视频的视频帧特征，融合视频帧特征获得固定维度的视频特征，基于视频特征预测视频标签。但是这种视频标签预测方式识别得到的视频标签不够准确。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提升视频标签识别准确性的视频标签预测模型的处理方法、视频标签预测方法、装置、计算机设备、存储介质和计算机程序产品。
[0005]本申请提供了一种视频标签预测模型的处理方法。所述方法包括：
[0006]获取样本视频及所述样本视频的至少一个标注标签，所述至少一个标注标签属于视频标签集合；
[0007]将所述样本视频划分为多个等长的视频片段；
[0008]通过视频标签预测模型分别对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果；所述片段标签预测结果包括视频片段属于所述视频标签集合中各标注标签的概率；
[0009]将各所述视频片段对应的片段标签预测结果中，对应相同标注标签的概率进行融合，获得所述样本视频对应的视频标签预测结果；所述视频标签预测结果包括所述样本视频属于所述视频标签集合中各标注标签的概率；
[0010]根据基于所述样本视频的至少一个标注标签与所述样本视频属于各标注标签的概率所构建的预测损失更新所述视频标签预测模型的模型参数，得到训练好的视频标签预测模型。
[0011]本申请还提供了一种视频标签预测模型的处理装置。所述装置包括：
[0012]获取模块，用于获取样本视频及所述样本视频的至少一个标注标签，所述至少一个标注标签属于视频标签集合；
[0013]划分模块，用于将所述样本视频划分为多个等长的视频片段；
[0014]预测模块，用于通过视频标签预测模型分别对各所述视频片段进行标签预测，获
得各所述视频片段分别对应的片段标签预测结果；所述片段标签预测结果包括视频片段属于所述视频标签集合中各标注标签的概率；
[0015]融合模块，用于将各所述视频片段对应的片段标签预测结果中，对应相同标注标签的概率进行融合，获得所述样本视频对应的视频标签预测结果；所述视频标签预测结果包括所述样本视频属于所述视频标签集合中各标注标签的概率；
[0016]更新模块，用于根据基于所述样本视频的至少一个标注标签与所述样本视频属于各标注标签的概率所构建的预测损失更新所述视频标签预测模型的模型参数，得到训练好的视频标签预测模型。
[0017]在一个实施例中，所述划分模块，还用于：确定所述样本视频的视频长度；根据视频长度与片段长度之间的正相关关系，确定所述样本视频的视频长度对应的片段长度；按照确定的所述片段长度，将所述样本视频划分为多个等长的视频片段。
[0018]在一个实施例中，所述划分模块，还用于：获取片段长度集合；从所述片段长度集合中随机选取片段长度；按照选取的所述片段长度，将所述样本视频划分为多个等长的视频片段。
[0019]在一个实施例中，所述划分模块，还用于：获取指定的片段长度；按照所述指定的片段长度，将所述样本视频划分为多个等长的视频片段。
[0020]在一个实施例中，所述融合模块，还用于：从各所述视频片段对应的片段标签预测结果中，确定对应相同标注标签的概率中的最大值；将对应每个标注标签的概率中的最大值，作为所述样本视频属于每个标注标签的概率；依据所述样本视频属于每个标注标签的概率，获得所述样本视频对应的视频标签预测结果。
[0021]在一个实施例中，所述预测模块，还用于：对于每个所述视频片段，通过所述视频标签预测模型中的特征提取网络，对所述视频片段的视频帧进行特征提取，获得各所述视频帧分别对应的特征向量；通过所述视频标签预测模型中的特征融合网络，融合各所述视频帧分别对应的特征向量，获得所述视频片段对应的特征向量；通过所述视频标签预测模型中的标签识别网络，对所述视频片段对应的特征向量进行标签预测，获得所述视频片段对应的片段标签预测结果。
[0022]在一个实施例中，所述预测模块，还用于：通过所述视频标签预测模型中的特征融合网络，在各所述视频帧分别对应的特征向量中，确定对应相同特征维度的向量值中的最大值，作为所述视频片段对应每个所述特征维度的向量值；根据所述视频片段对应每个所述特征维度的向量值，生成所述视频片段对应的特征向量。
[0023]在一个实施例中，所述预测模块，还用于：通过所述视频标签预测模型中的特征融合网络，在各所述视频帧分别对应的特征向量中，确定对应相同特征维度的向量值的平均值，作为所述视频片段对应每个所述特征维度的向量值；根据所述视频片段对应每个所述特征维度的向量值，生成所述视频片段对应的特征向量。
[0024]本申请提供了一种视频标签预测方法。所述方法包括：
[0025]获取目标视频；
[0026]将所述目标视频划分为多个等长的视频片段后，通过训练好的视频标签预测模型对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果；所述片段标签预测结果包括视频片段属于各视频标签的概率；
[0027]将各所述视频片段对应的片段标签预测结果中，对应相同视频标签的概率进行融合，获得所述目标视频对应的视频标签预测结果；所述视频标签预测结果包括所述目标视频属于各视频标签的概率；
[0028]根据所述目标视频属于各视频标签的概率，为所述目标视频添加视频标签。
[0029]本申请还提供了一种视频标签预测装置。所述装置包括：
[0030]获取模块，用于获取目标视频；
[0031]预测模块，用于将所述目标视频划分为多个等长的视频片段后，通过训练好的视频标签预测模型对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果；所述片段标签预测结果包括视频片段属于各视频标签的概率；
[0032]融合模块，用于将各所述视频片段对应的片段标签预测结果中，对应相同视频标签的概率进行融合，获得所述目标视频对应的视频标签预测结果；所述视频标签预测结果包括所述目标视频属于各视频标签的概率；
[0033]识别模块，用于根据所述目标视频属于各视频标签的概率，为所述目标视频添加视频标签。
[0034]在一个实施例中，所述预测模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频标签预测模型的处理方法，其特征在于，所述方法包括：获取样本视频及所述样本视频的至少一个标注标签，所述至少一个标注标签属于视频标签集合；将所述样本视频划分为多个等长的视频片段；通过视频标签预测模型分别对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果；所述片段标签预测结果包括视频片段属于所述视频标签集合中各标注标签的概率；将各所述视频片段对应的片段标签预测结果中，对应相同标注标签的概率进行融合，获得所述样本视频对应的视频标签预测结果；所述视频标签预测结果包括所述样本视频属于所述视频标签集合中各标注标签的概率；根据基于所述样本视频的至少一个标注标签与所述样本视频属于各标注标签的概率所构建的预测损失更新所述视频标签预测模型的模型参数，得到训练好的视频标签预测模型。2.根据权利要求1所述的方法，其特征在于，所述将所述样本视频划分为多个等长的视频片段，包括：确定所述样本视频的视频长度；根据视频长度与片段长度之间的正相关关系，确定所述样本视频的视频长度对应的片段长度；按照确定的所述片段长度，将所述样本视频划分为多个等长的视频片段。3.根据权利要求1所述的方法，其特征在于，所述将所述样本视频划分为多个等长的视频片段，包括：获取片段长度集合；从所述片段长度集合中随机选取片段长度；按照选取的所述片段长度，将所述样本视频划分为多个等长的视频片段。4.根据权利要求1所述的方法，其特征在于，所述将所述样本视频划分为多个等长的视频片段，包括：获取指定的片段长度；按照所述指定的片段长度，将所述样本视频划分为多个等长的视频片段。5.根据权利要求1所述的方法，其特征在于，所述将各所述视频片段对应的片段标签预测结果中，对应相同标注标签的概率进行融合，获得所述样本视频对应的视频标签预测结果，包括：从各所述视频片段对应的片段标签预测结果中，确定对应相同标注标签的概率中的最大值；将对应每个标注标签的概率中的最大值，作为所述样本视频属于每个标注标签的概率；依据所述样本视频属于每个标注标签的概率，获得所述样本视频对应的视频标签预测结果。6.根据权利要求1所述的方法，其特征在于，所述通过视频标签预测模型分别对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果，包括：
对于每个所述视频片段，通过所述视频标签预测模型中的特征提取网络，对所述视频片段的视频帧进行特征提取，获得各所述视频帧分别对应的特征向量；通过所述视频标签预测模型中的特征融合网络，融合各所述视频帧分别对应的特征向量，获得所述视频片段对应的特征向量；通过所述视频标签预测模型中的标签识别网络，对所述视频片段对应的特征向量进行标签预测，获得所述视频片段对应的片段标签预测结果。7.根据权利要求6所述的方法，其特征在于，所述通过所述视频标签预测模型中的特征融合网络，融合各所述视频帧分别对应的特征向量，获得所述视频片段对应的特征向量，包括：通过所述视频标签预测模型中的特征融合网络，在各所述视频帧分别对应的特征向量中，确定对应相同特征维度的向量值中的最大值，作为所述视频片段对应每个所述特征维度的向量值；根据所述视频片段对应每个所述特征维度的向量值，生成所述视频片段对应的特征向量。8.根据权利要求6所述的方法，其特征在于，所述通过所述视频标签预测模型中的特征融合网络，融合各所述视频帧分别对应的特征向量，获得所述视频片段对应的特征向量，包括：通过所述视频标签预测模型中的特征融合网络，在各所述视频帧分别对应的特征向量中，确定对应相同特征维度的向量值的平均值，作为所述视频片段对应每个所述特征维度的向量值；根据所述视频片段对应每个所述特征维度的向量值，生成所述视频片段对应的特征向量。9.一种视频标签预测方法，其特征在于，所述方法包括：获取目标视频；将所述目标视频划分为多个等长的视频片段后，通过训练好的视频标签预测模型对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果；所述片段标签预测结果包括视频片段属于各视频标签的概率；将各所述视频片段对应的片段标签预测结果中，对应相同视频标签的概率进行融合，获得所述目标视频对应的视频标签预测结果；所述视频标签预测结果包括所述目标视频属于各视频标签的概率；根据所述目标视频属于各视频标签的概率，为所述目标视频添加视频标签。10.根据权利要求9所述的方法，其特征在于，所述通过训练好的视频标签预测模型对各所述视频片段进行标签预测，获得各所述视频片段分别对应的片段标签预测结果，包括：对于每个所述视频片段，通过所述视频...

【专利技术属性】
技术研发人员：许有疆，李传俊，胡智超，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：