一种视频片段标签识别方法及装置制造方法及图纸

本申请提供一种视频片段标签识别方法，包括：获取目标视频片段；提取目标视频片段的图像特征和音频特征；利用预先完成训练的多标签分类模型分析目标视频片段的图像特征和音频特征，得到目标视频片段的标签分类结果，目标视频片段的标签分类结果包括目标视频片段在至少两个维度的类别标签。基于本申请提供的方案，能够全面的识别目标视频片段的标签，而且，能够提高标签识别结果的准确度。

A Method and Device for Video Fragment Label Recognition

【技术实现步骤摘要】
一种视频片段标签识别方法及装置
本申请属于视频识别
，尤其涉及一种视频片段标签识别方法及装置。
技术介绍
随着网络技术和多媒体技术的迅速发展，大量的视频信息涌现在用户面前。这些视频信息丰富了用户的生活，但是，视频信息的丰富性是以无结构性为代价。当需要从大量视频中找到期望的视频片段时，视频片段的标签识别技术就越发重要。而且，视频片段的标签对于提升视频片段的推荐分发效果，自动精准广告投放，建立视频片段的内容检索能力，生成特定内容的视频集锦等方面，都具有重要作用。但是，申请人发现：目前的视频片段标签识别技术普遍存在识别结果的准确度较低的问题，而且识别出的标签也较为单一。
技术实现思路
在鉴于此，本申请实施例提供一种视频片段标签识别方法及装置，以实现对视频片段进行更加准确、全面的标签识别的目的。为实现上述目的，本申请实施例提供如下技术方案：本申请提供一种视频片段标签识别方法，所述方法包括：获取目标视频片段；提取所述目标视频片段的图像特征和音频特征；利用预先完成训练的多标签分类模型分析所述目标视频片段的图像特征和音频特征，得到所述目标视频片段的标签分类结果，所述目标视频片段的标签分类结果包括所述目标视频片段在至少两个维度的类别标签；其中，用于训练所述多标签分类模型的每个第一视频片段样本包含在至少两个维度标注的类别标签。可选的，在上述方法中，所述多标签分类模型的训练过程，包括：获取多个第一视频片段样本；分别提取每个所述第一视频片段样本的图像特征和音频特征；利用预先构建的多标签分类模型分析所述多个第一视频片段样本的图像图中和音频特征，得到每个第一视频片段样本的标签分类结果；依据所述多个第一视频片段样本的标签分类结果和标注的类别标签，调整所述多标签分类模型的模型参数，直至调整后的多标签分类模型满足预设收敛条件。可选的，在上述方法中，所述获取目标视频片段，包括：获得目标视频；将所述目标视频拆分成多个视频片段；分别确定所述多个视频片段是否为精彩视频片段；在精彩视频片段中获取任意一个精彩视频片段确定为所述目标视频片段。可选的，在上述方法中，确定任意一个视频片段是否为精彩视频片段，包括：提取所述视频片段的图像特征和音频特征；利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分类结果，所述精彩度分类结果用于指示所述视频片段是否为精彩视频片段。可选的，在上述方法中，所述精彩度分析模型的训练过程，包括：获取多个第二视频片段样本，每个所述第二视频片段样本包含标注的精彩度信息；分别提取每个所述第二视频片段样本的图像特征和音频特征；利用预先构建的精彩度分类模型分析所述多个第二视频片段样本的图像图中和音频特征，得到每个第二视频片段样本的精彩度分类结果；依据所述多个第二视频片段样本的精彩度分类结果和标注的精彩度信息，调整所述精彩度分类模型的模型参数，直至调整后的精彩度分类模型满足预设收敛条件。可选的，在上述方法中，利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分类结果，包括：利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段属于两个类别中每个类别的置信度；选取置信度最大的分类结果，确定为所述视频片段的精彩度分类结果。可选的，在上述方法中，利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分类结果，包括：利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分数；当所述精彩度分数大于或等于预设分数值时，确定所述视频片段是精彩片段；当所述精彩度分数小于所述预设分数值时，确定所述视频片段不是精彩片段。本申请还提供一种视频片段标签识别装置，所述装置包括：目标视频片段获取单元，用于获取目标视频片段；特征提取单元，用于提取所述目标视频片段的图像特征和音频特征；标签识别单元，用于利用预先完成训练的多标签分类模型分析所述目标视频片段的图像特征和音频特征，得到所述目标视频片段的标签分类结果，所述目标视频片段的标签分类结果包括所述目标视频片段在至少两个维度的类别标签；其中，用于训练所述多标签分类模型的每个第一视频片段样本包含在至少两个维度标注的类别标签。可选的，在上述装置的基础上，还包括多标签分类模型训练单元，具体用于：获取多个第一视频片段样本；分别提取每个所述第一视频片段样本的图像特征和音频特征；利用预先构建的多标签分类模型分析所述多个第一视频片段样本的图像图中和音频特征，得到每个第一视频片段样本的标签分类结果；依据所述多个第一视频片段样本的标签分类结果和标注的类别标签，调整所述多标签分类模型的模型参数，直至调整后的多标签分类模型满足预设收敛条件。可选的，在上述装置中，目标视频片段获取单元包括：目标视频获取子单元，用于获得目标视频；视频拆分子单元，用于将所述目标视频拆分成多个视频片段；精彩视频片段识别子单元，用于分别确定所述多个视频片段是否为精彩视频片段；目标视频片段确定子单元，用于在精彩视频片段中获取任意一个精彩视频片段确定为所述目标视频片段。可选的，在上述装置中，所述精彩视频片段识别子单元确定视频片段是否为精彩视频片段，具体为：提取所述视频片段的图像特征和音频特征；利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分类结果，所述精彩度分类结果用于指示所述视频片段是否为精彩视频片段。可选的，在上述装置的基础上，还包括精彩度分类模型训练单元，具体用于：获取多个第二视频片段样本，每个所述第二视频片段样本包含标注的精彩度信息；分别提取每个所述第二视频片段样本的图像特征和音频特征；利用预先构建的精彩度分类模型分析所述多个第二视频片段样本的图像图中和音频特征，得到每个第二视频片段样本的精彩度分类结果；依据所述多个第二视频片段样本的精彩度分类结果和标注的精彩度信息，调整所述精彩度分类模型的模型参数，直至调整后的精彩度分类模型满足预设收敛条件。与现有技术相比，本申请包括以下优点：本申请提供的视频片段标签识别方法，获取待识别的目标视频片段，并提取目标视频片段的图像特征和音频特征，之后通过多标签分类模型对目标视频片段的图像特征和音频特征进行分析，得到目标视频片段在至少两个维度的类别标签，从而更加全面的识别目标视频片段的标签。而且，本申请中将视频片段的图像特征和音频特征作为识别依据，能够提高标签识别结果的准确度。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请公开的一种视频片段标签识别方法的流程示意图；图2为本申请公开的一种多标签分类模型的训练方法的流程示意图；图3为本申请公开的一种获取目标视频片段的方法的流程示意图；图4为本申请公开的一种确定视频片段是否为精彩视频片段的方法的流程示意图；图5为本申请公开的一种精彩度分类模型的训练方法的流程示意图；图6为本申请公开的一种视频片段标签识别装本文档来自技高网...

【技术保护点】
1.一种视频片段标签识别方法，其特征在于，所述方法包括：获取目标视频片段；提取所述目标视频片段的图像特征和音频特征；利用预先完成训练的多标签分类模型分析所述目标视频片段的图像特征和音频特征，得到所述目标视频片段的标签分类结果，所述目标视频片段的标签分类结果包括所述目标视频片段在至少两个维度的类别标签；其中，用于训练所述多标签分类模型的每个第一视频片段样本包含在至少两个维度标注的类别标签。

【技术特征摘要】
1.一种视频片段标签识别方法，其特征在于，所述方法包括：获取目标视频片段；提取所述目标视频片段的图像特征和音频特征；利用预先完成训练的多标签分类模型分析所述目标视频片段的图像特征和音频特征，得到所述目标视频片段的标签分类结果，所述目标视频片段的标签分类结果包括所述目标视频片段在至少两个维度的类别标签；其中，用于训练所述多标签分类模型的每个第一视频片段样本包含在至少两个维度标注的类别标签。2.根据权利要求1所述的方法，其特征在于，所述多标签分类模型的训练过程，包括：获取多个第一视频片段样本；分别提取每个所述第一视频片段样本的图像特征和音频特征；利用预先构建的多标签分类模型分析所述多个第一视频片段样本的图像图中和音频特征，得到每个第一视频片段样本的标签分类结果；依据所述多个第一视频片段样本的标签分类结果和标注的类别标签，调整所述多标签分类模型的模型参数，直至调整后的多标签分类模型满足预设收敛条件。3.根据权利要求1或2所述的方法，其特征在于，所述获取目标视频片段，包括：获得目标视频；将所述目标视频拆分成多个视频片段；分别确定所述多个视频片段是否为精彩视频片段；在精彩视频片段中获取任意一个精彩视频片段确定为所述目标视频片段。4.根据权利要求3所述的方法，其特征在于，确定任意一个视频片段是否为精彩视频片段，包括：提取所述视频片段的图像特征和音频特征；利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分类结果，所述精彩度分类结果用于指示所述视频片段是否为精彩视频片段。5.根据权利要求4所述的方法，其特征在于，所述精彩度分析模型的训练过程，包括：获取多个第二视频片段样本，每个所述第二视频片段样本包含标注的精彩度信息；分别提取每个所述第二视频片段样本的图像特征和音频特征；利用预先构建的精彩度分类模型分析所述多个第二视频片段样本的图像图中和音频特征，得到每个第二视频片段样本的精彩度分类结果；依据所述多个第二视频片段样本的精彩度分类结果和标注的精彩度信息，调整所述精彩度分类模型的模型参数，直至调整后的精彩度分类模型满足预设收敛条件。6.根据权利要求4所述的方法，其特征在于，利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段的精彩度分类结果，包括：利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片段属于两个类别中每个类别的置信度；选取置信度最大的分类结果，确定为所述视频片段的精彩度分类结果。7.根据权利要求4所述的方法，其特征在于，利用预先完成训练的精彩度分类模型分析所述视频片段的图像特征和音频特征，得到所述视频片...

【专利技术属性】
技术研发人员：晋瑞锦，张云桃，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11