视频场景分类模型的训练样本生成方法、装置及设备制造方法及图纸

本申请公开了一种视频场景分类模型的训练样本生成方法、装置及设备，属于人工智能技术领域。所述方法包括：获取样本视频；对各个样本图像帧分别进行视频特征提取，得到各个样本图像帧分别对应的视频特征；对各个样本图像帧分别进行场景特征提取，得到各个样本图像帧分别对应的图像场景特征；根据各个样本图像帧分别对应的视频特征，以及各个样本图像帧分别对应的图像场景特征，生成样本视频对应的训练样本。本申请，提供了一种针对视频的自动化场景分类模式，提高场景分类结果的准确性，提高视频场景分类的效率，视频场景分类模型在训练过程中既能够以样本视频为单位学习视频特征，又能够以单独的样本图像帧为单位学习图像场景特征。特征。特征。

【技术实现步骤摘要】
视频场景分类模型的训练样本生成方法、装置及设备


[0001]本申请涉及人工智能
，特别涉及一种视频场景分类模型的训练样本生成方法、装置及设备。

技术介绍

[0002]在用户上传视频之后，可以基于视频所属的场景将视频投放至不同的分区。
[0003]在相关技术中，在获取用户上传的视频之后，人工对该视频进行审核，确定视频是否符合视频投放平台的规范，并根据视频的具体内容，确定视频所属的场景，进而将视频投放至合适的场景分区。
[0004]然而，在上述相关技术中，由人工确定视频所属的场景，受人工主观意识影响，场景分类结果不准确。

技术实现思路

[0005]本申请实施例提供了一种视频场景分类模型的训练样本生成方法、装置及设备，能够提高场景分类结果的准确性，提高视频场景分类的效率。所述技术方案如下。
[0006]根据本申请实施例的一个方面，提供了一种视频场景分类模型的训练样本生成方法，所述方法包括以下步骤：
[0007]获取样本视频，所述样本视频包括多个连续的样本图像帧；
[0008]对各个所述样本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频场景分类模型的训练样本生成方法，其特征在于，所述方法包括：获取样本视频，所述样本视频包括多个连续的样本图像帧；对各个所述样本图像帧分别进行视频特征提取，得到各个所述样本图像帧分别对应的视频特征，所述视频特征用于描述所述样本图像帧包含的特征，以及所述样本图像帧与关联样本图像帧之间的变化特征；其中，所述关联样本图像帧是指在所述样本视频中与所述样本图像帧具有关联关系的图像帧；对各个所述样本图像帧分别进行场景特征提取，得到各个所述样本图像帧分别对应的图像场景特征；其中，所述图像场景特征用于描述所述样本图像帧所属的场景；根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，生成所述样本视频对应的训练样本；其中，所述训练样本用于对视频场景分类模型进行训练，所述视频场景分类模型用于识别视频所属的场景。2.根据权利要求1所述的方法，其特征在于，所述训练样本包括所述样本视频针对所述视频场景分类模型的输入数据；所述根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，包括：对于各个所述样本图像帧中的目标样本图像帧，对所述目标样本图像帧对应的视频特征，以及所述目标样本图像帧对应的图像场景特征进行拼接，得到所述目标样本图像帧对应的拼接场景特征；其中，所述输入数据包括各个所述样本图像帧分别对应的拼接场景特征。3.根据权利要求1所述的方法，其特征在于，所述训练样本包括所述样本视频针对所述视频场景分类模型的场景分类标签，所述场景分类标签用于指示所述样本视频所属的场景；所述根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，包括：根据各个所述样本图像帧分别对应的视频特征，确定所述样本视频的第一场景标签；其中，所述第一场景标签用于指示所述样本视频所属的候选场景；根据至少一个所述样本图像帧分别对应的图像场景特征，获取至少一个所述样本图像帧分别对应的第二场景标签；其中，所述第二场景标签用于指示所述样本图像帧所属的场景；基于所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签，确定所述样本视频的场景分类标签。4.根据权利要求3所述的方法，其特征在于，所述根据各个所述样本图像帧分别对应的视频特征，确定所述样本视频的第一场景标签，包括：根据各个所述样本图像帧分别对应的视频特征，确定所述样本视频的场景特征；基于所述样本视频的场景特征，确定所述样本视频的第一场景标签。5.根据权利要求3所述的方法，其特征在于，所述根据至少一个所述样本图像帧分别对应的图像场景特征，获取至少一个所述样本图像帧分别对应的第二场景标签，包括：根据采样时间，对所述样本视频中的多个所述样本图像帧进行采样，得到至少一个采样样本图像帧；
从所述采样样本图像帧对应的图像场景特征中，获取所述采样样本图像帧针对各个场景的特征；获取所述采样样本图像帧属于各个场景的概率；根据所述采样样本图像帧针对各个场景的特征，以及所述采样样本图像帧属于各个场景的概率，确定所述采样样本图像帧的场景特征；基于所述采样样本图像帧的场景特征，确定所述采样样本图像帧对应的第二场景标签。6.根据权利要求5所述的方法，其特征在于，所述根据所述采样样本图像帧针对各个场景的特征，以及所述采样样本图像帧属于各个场景的概率，确定所述采样样本图像帧的场景特征，包括：基于所述采样样本图像帧属于各个场景的概率，从所述采样样本图像帧针对各个场景的特征中，选择至少一个概率满足第一条件的目标场景的特征；对各个所述目标场景的特征进行融合，得到所述采样样本图像帧的场景特征。7.根据权利要求3所述的方法，其特征在于，所述基于所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签，确定所述样本视频的场景分类标签，包括：根据所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签之间的交集，确定所述样本视频的场景分类标签。8.根据权利要求7所述的方法，其特征在于，所述场景分类标签包括主要分类标签和次要分类标签；所述根据所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签之间的交集，确定所述样本视频的场景分类标签，包括：根据所述第一场景标签，以及至少一个所述样本图像帧分别对应的第二场景标签之间的交集，确定所述样本视频的至少一个候选分类标签；获取各个所述候选分类标签在各个所述第二场景标签中的重要程度；将所述重要程度满足第二条件的候选分类标签确定为所述主要分类标签；以及，将所述至少一个候选分类标签中除所述主要分类标签之外的其它分类标签，确定为所述次要分类标签。9.根据权利要求1至8任一项所述的方法，其特征在于，所述根据各个所述样本图像帧分别对应的视频特征，以及各个所述样本图像帧分别对应的图像场景特征，生成所述样本视频对应的训练样本之后，还包括：将所述训练样本中的输入数据输入至所述视频场景分类模型，得到所述视频场景分类模型输出的针对所述样本视频的场景分类结果；基于各个所述样本视频的场景分类结果，以及各个所述样本视频分别对应的训练样本中的场景分类标签，对所述视频场景分类模型进行参数调整。10.根据权利要求9所述的方法，其特征在于，所述场景分类结果包括所述样本视频所属的至少一个场景类别，以及所述样本视频属于各个所述场景类别的概率；所述场景分类标签包括主要分类标签和次要分类标签；所述基于各个所述样本视频的场景分类结果，以及各个所述样本视频分别对应的训练样本中的场景分类标签，对所述视频场景分类模型进行参数调整，包括：
根据所述样本视频属于各个所述场景类别的概率由大到小的顺序，对各个所述场景类别进行排序；将排序位于第一位的场景类别确定为所述样本视频的主要场景；以及，将所述至少一个场景类别中除所述主要场景之外的其它场景确定为次要场景；基于各个所述样本视频的主要场景、次要场景、主要分类标签和次要分类标签，确定所述视频场景分类模型针对主要分类标签的召回率和准确率，以及所述视频场景分类模型针对次要分类标签的准确率；根据所述视频场景分类模型针对主要分类标签的...

【专利技术属性】
技术研发人员：刘刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：