一种视频识别的方法、装置及存储介质制造方法及图纸

本申请提供一种视频识别的方法、装置及存储介质，涉及人工智能和计算机技术领域，用以提高识别视频标签的准确率。将待处理视频输入标签分类模型，分别获得各个预设标签对应的匹配概率值；将待处理视频输入标签检索模型，获得待处理视频匹配成功的各个候选标注标签及对应的目标相似度，每个候选标注标签对应的目标相似度是基于其关联的各个历史视频与待处理视频之间的视频数据匹配相似度确定的；筛选出匹配概率值达到概率阈值的预设标签，组成第一标签集合，筛选出目标相似度达到相似度阈值的候选标注标签，组成第二标签集合；将第一标签集合以及第二标签集合进行融合处理，确定待处理视频对应的目标标签；提升标签召回与精确度，提高识别准确率。提高识别准确率。提高识别准确率。

【技术实现步骤摘要】
一种视频识别的方法、装置及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种视频识别的方法、装置及存储介质。

技术介绍

[0002]视频平台一般需要对视频进行标签描述，除了由用户在视频平台中上传视频时添加相应的标签，视频平台的审核人员在审核过程中针对各个视频分别添加相应的标签外，还可以采用机器学习的方法对视频对应的标签进行识别。
[0003]采用机器学习的方法对视频对应的标签进行识别时，主要是基于视频标题的文本特征来实现，通过对视频标题的文本信息及平台海量标签池中的标签分别进行建模后计算其相关性，进而根据相关性从平台海量标签池中得到与视频对应的标签，导致识别出的视频对应的标签的准确率低。

技术实现思路

[0004]本申请提供一种视频识别的方法、装置及存储介质，用以提高视频标签识别的准确率。
[0005]第一方面，本申请实施例提供一种视频识别的方法，该方法包括：
[0006]将待处理视频输入已训练的标签分类模型，通过标签分类模型将待处理视频与各个预设标签进行匹配，分别获得各个预设标签对应的匹配概率值；
[0007]将待处理视频输入已训练的标签检索模型，通过标签检索模型，将待处理视频与各个历史视频进行匹配，获得待处理视频匹配成功的各个候选标注标签及对应的目标相似度，其中，每个候选标注标签对应的目标相似度，是基于候选标注标签关联的各个历史视频与待处理视频之间的视频数据匹配相似度确定的；
[0008]筛选出匹配概率值达到概率阈值的预设标签，组成第一标签集合，以及筛选出目标相似度达到相似度阈值的候选标注标签，组成第二标签集合；
[0009]将第一标签集合以及第二标签集合进行融合处理，确定待处理视频对应的目标标签。
[0010]第二方面，本申请实施例提供一种视频识别的装置，该装置包括：
[0011]第一获得单元，用于将待处理视频输入已训练的标签分类模型，通过标签分类模型将待处理视频与各个预设标签进行匹配，分别获得各个预设标签对应的匹配概率值；
[0012]第二获得单元，用于将待处理视频输入已训练的标签检索模型，通过标签检索模型，将待处理视频与各个历史视频进行匹配，获得待处理视频匹配成功的各个候选标注标签及对应的目标相似度，其中，每个候选标注标签对应的目标相似度，是基于候选标注标签关联的各个历史视频与待处理视频之间的视频数据匹配相似度确定的；
[0013]筛选单元，用于筛选出匹配概率值达到概率阈值的预设标签，组成第一标签集合，以及筛选出目标相似度达到相似度阈值的候选标注标签，组成第二标签集合；
[0014]确定单元，用于将第一标签集合以及第二标签集合进行融合处理，确定待处理视
频对应的目标标签。
[0015]在一种可能的实现方式中，第一获得单元中的已训练的标签分类模型是通过如下方式训练得到的：
[0016]根据训练样本数据集中的训练样本，对待训练的标签分类模型执行循环迭代训练，并在满足预设收敛条件时，输出训练完毕的标签分类模型，其中，在一次循环迭代训练过程中执行以下操作：
[0017]从训练样本数据集中选取训练样本，其中，训练样本为设置有标注标签的历史视频；
[0018]将训练样本输入标签分类模型；
[0019]基于标签分类模型中的全连接层，将训练样本映射到各个预设标签中，预测各个预设标签的匹配概率值；
[0020]基于训练样本对应的标注标签和预测的各个预设标签的匹配概率值，确定各个预设标签对应的二分类交叉熵；
[0021]基于各个预设标签的二分类交叉熵构建损失函数，并基于损失函数对标签分类模型进行参数调整。
[0022]在一种可能的实现方式中，将待处理视频输入标签分类模型，通过标签标识模型将待处理视频与各个预设标签进行匹配，分别获得各个预设标签对应的匹配概率值，包括：
[0023]将待处理视频输入已训练的标签分类模型；
[0024]基于标签分类模型中的全连接层，将待处理视频映射到各个预设标签中，分别确定待处理视频与各个预设标签之间的标签匹配相似度；
[0025]基于标签分类模型中的Sigmoid函数，分别将获得的各个标签匹配相似度转换成相应预设标签的匹配概率值。
[0026]在一种可能的实现方式中，第二获取单元中的标签检索模型包括文本检索子模型和知识挖掘子模型中的至少一种；
[0027]若标签检索模型包括文本检索子模型，则待处理视频匹配成功的各个候选标注标签及对应的目标相似度，是基于文本检索子模型获得的待处理视频匹配成功的各个第一候选标注标签及对应的第一目标相似度；
[0028]若标签检索模型包括知识挖掘子模型，则待处理视频匹配成功的各个候选标注标签及对应的目标相似度，是基于知识挖掘子模型获得的待处理视频匹配成功的各个第二候选标注标签及对应的第二目标相似度。
[0029]在一种可能的实现方式中，若第二获取单元中的标签检索模型包括文本检索子模型；
[0030]第二获取单元通过如下方式获得待处理视频匹配成功的各个第一候选标注标签及对应的第一目标相似度：
[0031]将待处理视频输入文本检索子模型，通过文本检索子模型，将待处理视频与各个历史视频进行匹配，分别获得各个历史视频与待处理视频之间的视频数据匹配相似度；
[0032]基于获得的各个历史视频关联的视频数据匹配相似度，筛选出视频数据匹配相似度达到视频数据匹配相似度阈值的历史视频以及关联的各个标注标签；
[0033]基于筛选出的所有历史视频关联的各个标注标签，获得待处理视频匹配成功的各
个第一候选标注标签，并基于各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，确定各个第一候选标注标签的第一目标相似度。
[0034]在一种可能的实现方式中，第二获取单元具体用于：
[0035]分别将各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，作为相应第一候选标注标签关联的候选相似度，并分别将各个第一候选标注标签关联的候选相似度中的最大值作为相应第一候选标注标签的第一目标相似度；或者
[0036]分别将各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，作为相应第一候选标注标签关联的候选相似度，并分别将各个第一候选标注标签关联的候选相似度进行加权平均，获得相应的加权平均处理结果，基于各个加权平均处理结果分别确定各个第一候选标注标签的第一目标相似度。
[0037]在一种可能的实现方式中，若第二获取单元中的标签检索模型包括知识挖掘子模型；
[0038]第二获取单元通过如下方式获得待处理视频匹配成功的各个第二候选标注标签及对应的第二目标相似度：
[0039]将待处理视频输入知识挖掘子模型，通过知识挖掘子模型，将待处理视频关联的待处理分词与各个历史视频关联的各个历史分词进行匹配，分别获得各个历史分词和待处理分词之间的视频数据匹配相似度；其中，每个历史分词为与相应历史视频关联本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频识别的方法，其特征在于，该方法包括：将待处理视频输入已训练的标签分类模型，通过所述标签分类模型将所述待处理视频与各个预设标签进行匹配，分别获得所述各个预设标签对应的匹配概率值；将所述待处理视频输入已训练的标签检索模型，通过所述标签检索模型，将所述待处理视频与各个历史视频进行匹配，获得所述待处理视频匹配成功的各个候选标注标签及对应的目标相似度，其中，每个候选标注标签对应的目标相似度，是基于所述候选标注标签关联的各个历史视频与所述待处理视频之间的视频数据匹配相似度确定的；筛选出匹配概率值达到概率阈值的预设标签，组成第一标签集合，以及筛选出目标相似度达到相似度阈值的候选标注标签，组成第二标签集合；将所述第一标签集合以及所述第二标签集合进行融合处理，确定所述待处理视频对应的目标标签。2.如权利要求1所述的方法，其特征在于，所述已训练的标签分类模型是通过如下方式训练得到的：根据训练样本数据集中的训练样本，对待训练的标签分类模型执行循环迭代训练，并在满足预设收敛条件时，输出训练完毕的标签分类模型，其中，在一次循环迭代训练过程中执行以下操作：从所述训练样本数据集中选取训练样本，其中，所述训练样本为设置有标注标签的历史视频；将所述训练样本输入所述标签分类模型；基于所述标签分类模型中的全连接层，将所述训练样本映射到各个预设标签中，预测所述各个预设标签的匹配概率值；基于所述训练样本对应的标注标签和预测的所述各个预设标签的匹配概率值，确定所述各个预设标签对应的二分类交叉熵；基于所述各个预设标签的二分类交叉熵构建损失函数，并基于所述损失函数对所述标签分类模型进行参数调整。3.如权利要求1所述的方法，其特征在于，所述将待处理视频输入所述标签分类模型，通过所述标签标识模型将所述待处理视频与各个预设标签进行匹配，分别获得所述各个预设标签对应的匹配概率值，包括：将所述待处理视频输入所述已训练的标签分类模型；基于所述标签分类模型中的全连接层，将所述待处理视频映射到各个预设标签中，分别确定所述待处理视频与所述各个预设标签之间的标签匹配相似度；基于所述标签分类模型中的S形函数Sigmoid函数，分别将获得的各个标签匹配相似度转换成相应预设标签的匹配概率值。4.如权利要求1所述的方法，其特征在于，所述标签检索模型包括文本检索子模型和知识挖掘子模型中的至少一种；若所述标签检索模型包括所述文本检索子模型，则所述待处理视频匹配成功的各个候选标注标签及对应的目标相似度，是基于所述文本检索子模型获得的所述待处理视频匹配成功的各个第一候选标注标签及对应的第一目标相似度；若所述标签检索模型包括所述知识挖掘子模型，则所述待处理视频匹配成功的各个候
选标注标签及对应的目标相似度，是基于所述知识挖掘子模型获得的所述待处理视频匹配成功的各个第二候选标注标签及对应的第二目标相似度。5.如权利要求4所述的方法，其特征在于，若所述标签检索模型包括文本检索子模型；通过如下方式获得所述待处理视频匹配成功的各个第一候选标注标签及对应的第一目标相似度：将所述待处理视频输入所述文本检索子模型，通过所述文本检索子模型，将所述待处理视频与所述各个历史视频进行匹配，分别获得所述各个历史视频与所述待处理视频之间的视频数据匹配相似度；基于获得的各个历史视频关联的视频数据匹配相似度，筛选出视频数据匹配相似度达到视频数据匹配相似度阈值的历史视频以及关联的各个标注标签；基于筛选出的所有历史视频关联的各个标注标签，获得所述待处理视频匹配成功的各个第一候选标注标签，并基于所述各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，确定所述各个第一候选标注标签的第一目标相似度。6.如权利要求5所述的方法，其特征在于，所述基于所述各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，确定所述各个第一候选标注标签的第一目标相似度，包括：分别将所述各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，作为相应第一候选标注标签关联的候选相似度，并分别将所述各个第一候选标注标签关联的候选相似度中的最大值作为相应第一候选标注标签的第一目标相似度；或者分别将所述各个第一候选标注标签关联的各个历史视频对应的视频数据匹配相似度，作为相应第一候选标注标签关联的候选相似度，并分别将所述各个第一候选标注标签关联的候选相似度进行加权平均，获得相应的加权平均处理结果，基于各个加权平均处理结果分别确定所述各个第一候选标注标签的第一目标相似度。7.如权利要求4所述的方法，其特征在于，若所述标签检索模型包括知识挖掘子模型；通过如下方式获得所述待处理视频匹配成功的各个第二候选标注标签及对应的第二目标相似度：将所述待处理视频输入所述知识挖掘子模型，通过所述知识挖掘子模型，将所述待处理视频关联的待处理分词与所述各个历史视频关联的各个历史分词进行匹配，分别获得所述各个历史分词和所述待处理分词之间的视频数据匹配相似度；其中，每个历史分词为与相应历史视频关联的至少一个标注标签共同存在的分词，且所述每个历史分词对应至少一个标注标签，每个标注标签关联与相应历史分词共同存在的共存概率；基于获得的各个历史分词关联的视频数据匹配相似度，筛选出视频数据匹配相似度达到视频数据匹配相似度阈值的历史分词以及关联的各个标注标签；基于筛选出的所有历史分词关联的各个标注标签，获得所述待处理视频匹配成功的各个第...

【专利技术属性】
技术研发人员：陈楠，陈小帅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：