【技术实现步骤摘要】
本申请涉及人工智能，具体涉及一种视频标注方法、装置、计算机设备及计算机可读存储介质。
技术介绍
1、视频技术对视频的处理发挥重要的作用。视频技术可以包括视频分割技术、视频分类技术、视频信息提取技术、以及视频总结技术等。
2、其中，针对视频分割技术与视频分类技术，在对视频处理神经网络模型进行训练过程中，视频分割技术可以以视频分割训练任务对视频处理神经网络模型进行训练，视频分类技术可以以作为视频分类训练任务对视频处理神经网络模型进行训练。但是，采用视频分割训练任务和视频分类训练任务在对视频处理神经网络模型进行训练的过程中，会导致训练误差的累积，或导致视频处理神经网络模型的模型参数难以收敛到最优的参数，从而导致训练后的视频处理神经网络模型预测不准确。
3、综上，现有存在训练后的视频处理神经网络模型预测不准确的问题。
技术实现思路
1、本申请实施例提供一种视频标注方法、装置、计算机设备及计算机可读存储介质，能够提高训练后视频标注模型预测的准确性和训练后视频标注模型的预测效率。
2、一种视频标注方法，包括：
3、获取视频样本，以及获取标签体系对应的视频标注模型，标签体系包括原始标签的多个扩展标签，多个扩展标签之间在视频属性上具有关联关系，扩展标签为对原始标签进行扩展得到的标签，视频样本包括多个视频基本片段；
4、利用视频标注模型对视频基本片段进行多模态视频属性特征的特征提取，得到多模态视频属性特征序列，多模态视频特征序列包括每一视频
5、利用视频标注模型根据多模态视频属性特征，对视频基本片段进行视频属性标注信息的预测，得到视频基本片段的视频属性标注信息；
6、根据视频属性标注信息和扩展标签，对视频标注模型的模型参数进行收敛，得到训练后视频标注模型，以通过训练后视频标注模型对待标注视频进行标注。
7、相应地，本申请实施例提供一种视频标注装置，包括：
8、获取单元，用于获取视频样本，以及获取标签体系对应的视频标注模型，标签体系包括原始标签的多个扩展标签，多个扩展标签之间在视频属性上具有关联关系，扩展标签为对原始标签进行扩展得到的标签，视频样本包括多个视频基本片段；
9、提取单元，用于利用视频标注模型对视频基本片段进行多模态视频属性特征的特征提取，得到多模态视频属性特征序列，多模态视频特征序列包括每一视频基本片段对应的多模态视频属性特征；
10、预测单元，用于利用视频标注模型根据多模态视频属性特征，对视频基本片段进行视频属性标注信息的预测，得到视频基本片段的视频属性标注信息；
11、标注单元，用于根据视频属性标注信息和扩展标签，对视频标注模型的模型参数进行收敛，得到训练后视频标注模型，以通过训练后视频标注模型对待标注视频进行标注。
12、在一些申请实施例中，预测单元，可以用于利用视频标注模型根据多模态视频属性特征，对视频基本片段进行扩展类别的分类处理，得到视频基本片段的扩展类别，扩展类别为对视频标注模型的原始分类类别进行扩展得到的类别；根据扩展类别，确定视频基本片段的视频内容信息和视频基本片段的视频位置信息；根据视频内容信息和视频位置信息，生成视频基本片段的视频属性标注信息。
13、在一些申请实施例中，标注单元，还可以用于利用视频标注模型根据多模态视频属性特征，对视频基本片段进行原始分类类别的分类处理，得到视频基本片段的原始分类类别；根据扩展标签对原始分类类别进行扩展处理，得到视频标注模型的扩展类别。
14、在一些申请实施例中，扩展标签包括携带视频位置信息的视频内容信息标签；标注单元，还可以用于根据原始分类类别，获取视频基本片段的原始视频内容信息；根据携带视频位置信息的视频内容信息标签和原始视频内容信息，对视频标注模型进行训练，以得到视频标注模型的扩展类别。
15、在一些申请实施例中，提取单元，可以用于利用视频标注模型中的第一特征提取层对视频基本片段进行视频帧属性特征提取，得到视频基本片段的视频帧属性特征；利用视频标注模型中的第二特征提取层对视频基本片段进行语音属性特征提取，得到视频基本片段的语音属性特征；利用视频标注模型中的第三特征提取层对视频基本片段进行文本属性特征提取，得到视频基本片段的文本属性特征；根据视频帧属性特征、语音属性特征和文本属性特征，生成多模态视频属性特征序列。
16、在一些申请实施例中，提取单元，可以用于对视频帧属性特征、语音属性特征和文本属性特征进行融合处理，以得到多模态视频属性特征；根据多模态视频属性特征，构建多模态视频属性特征序列。
17、在一些申请实施例中，获取单元，可以用于获取待处理视频，并获取待处理视频中视频帧的目标像素值；根据视频帧的目标像素值，对待处理视频进行分割处理，得到待处理视频的视频基本片段；根据视频基本片段，生成视频样本。
18、在一些申请实施例中，获取单元，可以用于获取视频帧中每相邻的两个目标视频帧；若两个目标视频帧分别对应的目标像素值之间的差异值小于预设像素值阈值，则生成第一分割信息，第一分割信息为表征两个目标视频帧属于相同视频基本片段的信息；根据第一分割信息，生成待处理视频的视频基本片段。
19、在一些申请实施例中，标注单元，可以用于获取待标注视频；利用训练后视频标注模型对待标注视频进行扩展类别的分类处理，得到待标注视频的目标扩展类别；根据目标扩展类别，对待标注视频进行标注，得到标注后视频。
20、此外，本申请实施例还提供一种计算机设备，包括存储器和处理器；存储器存储有计算机程序，处理器用于运行存储器内的计算机程序，以执行本申请实施例提供的任一种视频标注方法。
21、此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本申请实施例提供的任一种视频标注方法。
22、此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请实施例所提供的任一种视频标注方法。
23、此外，本申请实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请实施例所提供的任一种视频标注方法。
24、本申请实施例可以获取视频样本，以及获取标签体系对应的视频标注模型，标签体系包括原始标签的多个扩展标签，多个扩展标签之间在视频属性上具有关联关系，扩展标签为对原始标签进行扩展得到的标签，视频样本包括多个视频基本片段；利用视频标注模型对视频基本片段进行多模态视频属性特征的特征提取，得到多模态视频属性特征序列，多模态视频特征序列包括每一视频基本片段对应的多模态视频属性特征；利用视频标注模型根据多模态视频属性特征，对视频基本片段进行视频属性标注信息的预测，得到视频基本片段的视频属性标注信息；根据视频属性标注信息和扩展标签，对视频标注模型的模型参数进行收敛，得到训本文档来自技高网...
【技术保护点】
1.一种视频标注方法，其特征在于，包括：
2.根据权利要求1所述的视频标注方法，其特征在于，所述利用所述视频标注模型根据所述多模态视频属性特征，对所述视频基本片段进行视频属性标注信息的预测，得到所述视频基本片段的视频属性标注信息，包括：
3.根据权利要求2所述的视频标注方法，其特征在于，所述利用视频标注模型根据所述多模态视频属性特征，对所述视频基本片段进行扩展类别的分类处理，得到所述视频基本片段的扩展类别之前，所述方法还包括：
4.根据权利要求3所述的视频标注方法，其特征在于，所述扩展标签包括携带视频位置信息的视频内容信息标签；所述根据所述扩展标签对所述原始分类类别进行扩展处理，得到所述视频标注模型的扩展类别，包括：
5.根据权利要求1所述的视频标注方法，其特征在于，所述利用所述视频标注模型对所述视频基本片段进行多模态视频属性特征的特征提取，得到多模态视频属性特征序列，包括：
6.根据权利要求5所述的视频标注方法，其特征在于，所述根据所述视频帧属性特征、所述语音属性特征和所述文本属性特征，生成所述多模态视频属性特征序列，
7.根据权利要求1所述的视频标注方法，其特征在于，所述获取视频样本，包括：
8.根据权利要求7所述的视频标注方法，其特征在于，所述根据所述视频帧的目标像素值，对所述待处理视频进行分割处理，得到所述待处理视频的视频基本片段，包括：
9.根据权利要求1至8所述的任一项视频标注方法，其特征在于，所述通过所述训练后视频标注模型对待标注视频进行标注，包括：
10.一种视频标注装置，其特征在于，包括：
11.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至9任一项所述的视频标注方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至9任一项所述的视频标注方法。
13.一种计算机程序产品，其特征在于，所述计算机程序产品存储有计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求1至9任一项所述的视频标注方法。
...【技术特征摘要】
1.一种视频标注方法，其特征在于，包括：
2.根据权利要求1所述的视频标注方法，其特征在于，所述利用所述视频标注模型根据所述多模态视频属性特征，对所述视频基本片段进行视频属性标注信息的预测，得到所述视频基本片段的视频属性标注信息，包括：
3.根据权利要求2所述的视频标注方法，其特征在于，所述利用视频标注模型根据所述多模态视频属性特征，对所述视频基本片段进行扩展类别的分类处理，得到所述视频基本片段的扩展类别之前，所述方法还包括：
4.根据权利要求3所述的视频标注方法，其特征在于，所述扩展标签包括携带视频位置信息的视频内容信息标签；所述根据所述扩展标签对所述原始分类类别进行扩展处理，得到所述视频标注模型的扩展类别，包括：
5.根据权利要求1所述的视频标注方法，其特征在于，所述利用所述视频标注模型对所述视频基本片段进行多模态视频属性特征的特征提取，得到多模态视频属性特征序列，包括：
6.根据权利要求5所述的视频标注方法，其特征在于，所述根据所述视频帧属性特征、所述语音属性特征和所述文本属性特征，生成所述多模态视频属性特...
【专利技术属性】
技术研发人员：乔凌峰，刘烨，尹迪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。