一种视频分类方法、装置、电子设备和存储介质制造方法及图纸

技术编号:31012654 阅读:11 留言:0更新日期:2021-11-30 00:42
本申请公开了一种视频分类方法、装置、电子设备和存储介质;本申请实施例获取目标视频在至少一个模态下的视频内容信息;对所述目标视频在至少一个模态下的视频内容信息进行语义提取,得到所述目标视频在至少一个模态下的语义特征信息;对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息;将所述强化后特征信息与所述目标视频在至少一个模态下的语义特征信息进行融合,得到所述目标视频的目标语义特征信息;基于所述目标语义特征信息,对所述目标视频进行分类。本申请实施例可以通过强化与目标视频内容相关的特征,增强目标语义特征信息的表征力,有利于提高视频分类的准确度。度。度。

【技术实现步骤摘要】
一种视频分类方法、装置、电子设备和存储介质


[0001]本申请涉及计算机
,具体涉及一种视频分类方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机技术的发展,多媒体的应用越来越广泛,视频种类日益丰富,视频数量也急剧增长。人们可以观看的视频也越来越多样化,为了方便用户从海量的视频中快速获取想要观看的视频,视频播放平台通常会将该视频播放平台中的大量视频进行分类。视频分类对于实现视频的管理以及兴趣推荐具有十分重要的作用。此外,视频分类的技术在监控、检索以及人机交互等领域被广泛应用。
[0003]在目前的相关技术中,一般先对待分类视频进行视频帧抽取,得到多个目标视频图像,通过神经网络提取各个目标视频图像的图像特征信息,再将帧级别的图像特征信息变换为视频级别的视频特征信息,最后基于视频特征信息对视频进行分类。但是这样提取到的视频特征信息的表征力较弱,使得视频分类结果的准确度相对较低。

技术实现思路

[0004]本申请实施例提供一种视频分类方法、装置、电子设备和存储介质,可以通过强化与目标视频内容相关的特征,增强目标语义特征信息的表征力,有利于提高视频分类的准确度。
[0005]本申请实施例提供一种视频分类方法,包括:
[0006]获取目标视频在至少一个模态下的视频内容信息;
[0007]对所述目标视频在至少一个模态下的视频内容信息进行语义提取,得到所述目标视频在至少一个模态下的语义特征信息;
[0008]对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息;
[0009]将所述强化后特征信息与所述目标视频在至少一个模态下的语义特征信息进行融合,得到所述目标视频的目标语义特征信息;
[0010]基于所述目标语义特征信息,对所述目标视频进行分类。
[0011]相应的,本申请实施例提供一种视频分类装置,包括:
[0012]获取单元,用于获取目标视频在至少一个模态下的视频内容信息;
[0013]提取单元,用于对所述目标视频在至少一个模态下的视频内容信息进行语义提取,得到所述目标视频在至少一个模态下的语义特征信息;
[0014]强化单元,用于对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息;
[0015]融合单元,用于将所述强化后特征信息与所述目标视频在至少一个模态下的语义特征信息进行融合,得到所述目标视频的目标语义特征信息;
[0016]分类单元,用于基于所述目标语义特征信息,对所述目标视频进行分类。
[0017]可选的,在本申请的一些实施例中,所述强化单元具体可以用于对所述目标视频在至少一个模态下的语义特征信息进行逻辑回归处理,得到所述目标视频的强化后特征信息,所述强化后特征信息中特征的特征值处于逻辑回归对应的预设数值范围。
[0018]可选的,在本申请的一些实施例中,所述强化单元可以包括融合子单元和强化子单元,如下:
[0019]所述融合子单元,用于对所述目标视频在各个模态下的语义特征信息进行融合,得到所述目标视频的融合后语义特征信息;
[0020]强化子单元,用于对所述融合后语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息。
[0021]可选的,在本申请的一些实施例中,所述融合后语义特征信息包括至少一个特征;
[0022]所述强化子单元具体可以用于当所述融合后语义特征信息中特征的特征值大于第一预设值时,对所述融合后语义特征信息中特征进行强化处理;当所述融合后语义特征信息中特征的特征值小于第二预设值时,对所述融合后语义特征信息中特征进行压缩处理;基于强化处理后的特征和压缩处理后的特征,得到所述目标视频的强化后特征信息。
[0023]可选的,在本申请的一些实施例中,所述至少一个模态包括图像模态和文本模态;
[0024]所述获取单元可以包括图像获取子单元和文本获取子单元,如下:
[0025]所述图像获取子单元,用于对目标视频进行图像提取处理,得到所述目标视频的图像序列,所述图像序列为所述目标视频在图像模态下的视频内容信息;
[0026]文本获取子单元,用于对目标视频进行文本提取处理,得到所述目标视频的文本序列,所述文本序列为所述目标视频在文本模态下的视频内容信息。
[0027]可选的,在本申请的一些实施例中,所述提取单元可以包括图像提取子单元、处理子单元、图像融合子单元和文本提取子单元,如下:
[0028]所述图像提取子单元,用于对所述图像序列中的各个图像进行语义提取,得到所述图像序列中的各个图像的图像语义特征信息;
[0029]处理子单元,用于基于各个图像的前后图像的图像语义特征信息,对所述各个图像的图像语义特征信息进行处理;
[0030]图像融合子单元,用于将处理后的各个图像的图像语义特征信息进行融合,得到所述目标视频在图像模态下的语义特征信息;
[0031]文本提取子单元,用于对所述文本序列进行语义提取,得到所述目标视频在文本模态下的语义特征信息。
[0032]可选的,在本申请的一些实施例中,所述融合单元可以包括第一融合子单元、第二融合子单元和确定子单元,如下:
[0033]所述第一融合子单元,用于将所述强化后特征信息与所述目标视频在图像模态下的语义特征信息进行融合,得到第一特征信息;
[0034]第二融合子单元,用于将所述强化后特征信息与所述目标视频在文本模态下的语义特征信息进行融合,得到第二特征信息;
[0035]确定子单元,用于基于所述第一特征信息和所述第二特征信息,得到所述目标视频的目标语义特征信息。
[0036]可选的,在本申请的一些实施例中,所述确定子单元具体可以用于确定所述第一特征信息和所述第二特征信息对应的权重;基于所述权重,对所述第一特征信息和所述第二特征信息进行加权融合,得到所述目标视频的目标语义特征信息。
[0037]本申请实施例提供的一种电子设备,包括处理器和存储器,所述存储器存储有多条指令,所述处理器加载所述指令,以执行本申请实施例提供的视频分类方法中的步骤。
[0038]此外,本申请实施例还提供一种存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现本申请实施例提供的视频分类方法中的步骤。
[0039]本申请实施例提供了一种视频分类方法、装置、电子设备和存储介质,可以获取目标视频在至少一个模态下的视频内容信息;对所述目标视频在至少一个模态下的视频内容信息进行语义提取,得到所述目标视频在至少一个模态下的语义特征信息;对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息;将所述强化后特征信息与所述目标视频在至少一个模态下的语义特征信息进行融合,得到所述目标视频的目标语义特征信息;基于所述目标语义特征信息,对所述目标视频进行分类。本申请实施例可以通过强化与目标本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种视频分类方法,其特征在于,包括:获取目标视频在至少一个模态下的视频内容信息;对所述目标视频在至少一个模态下的视频内容信息进行语义提取,得到所述目标视频在至少一个模态下的语义特征信息;对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息;将所述强化后特征信息与所述目标视频在至少一个模态下的语义特征信息进行融合,得到所述目标视频的目标语义特征信息;基于所述目标语义特征信息,对所述目标视频进行分类。2.根据权利要求1所述的方法,其特征在于,所述对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息,包括:对所述目标视频在至少一个模态下的语义特征信息进行逻辑回归处理,得到所述目标视频的强化后特征信息,所述强化后特征信息中特征的特征值处于逻辑回归对应的预设数值范围。3.根据权利要求1所述的方法,其特征在于,所述对所述目标视频在至少一个模态下的语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息,包括:对所述目标视频在各个模态下的语义特征信息进行融合,得到所述目标视频的融合后语义特征信息;对所述融合后语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息。4.根据权利要求3所述的方法,其特征在于,所述融合后语义特征信息包括至少一个特征;所述对所述融合后语义特征信息进行特征强化处理,得到所述目标视频的强化后特征信息,包括:当所述融合后语义特征信息中特征的特征值大于第一预设值时,对所述融合后语义特征信息中特征进行强化处理;当所述融合后语义特征信息中特征的特征值小于第二预设值时,对所述融合后语义特征信息中特征进行压缩处理;基于强化处理后的特征和压缩处理后的特征,得到所述目标视频的强化后特征信息。5.根据权利要求1所述的方法,其特征在于,所述至少一个模态包括图像模态和文本模态;所述获取目标视频在至少一个模态下的视频内容信息,包括:对目标视频进行图像提取处理,得到所述目标视频的图像序列,所述图像序列为所述目标视频在图像模态下的视频内容信息;对目标视频进行文本提取处理,得到所述目标视频的文本序列,所述文本序列为所述目标视频在文本模态下的视频内容信息。6.根据权利要求5所述的方法,其特征在于,所述对所述目标视频在至少一个模态下的视频内容信息...

【专利技术属性】
技术研发人员:黄剑辉
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1