视频表示的生成方法、装置和电子设备制造方法及图纸

技术编号:29960709 阅读:35 留言:0更新日期:2021-09-08 09:19
本公开公开了视频表示的生成方法、装置和电子设备,涉及人工智能技术领域,尤其涉及计算机视觉、知识图谱、深度学习技术领域。具体实现方案为:获取视频对应的每个维度的特征表示集,其中,所述特征表示集中包括从所述视频的视频帧中在所述维度下提取出的特征表示;针对每个所述维度,对所述维度的特征表示集中的特征表示进行特征融合,生成所述维度的融合特征表示集;基于每个所述维度的所述融合特征表示集进行维度间的特征融合,生成所述视频的目标特征表示。由此,可基于每个维度的融合特征表示集进行维度间的特征融合,生成视频的目标特征表示,能够深度融合维度内和维度间的特征表示,提高了目标特征表示对视频的表示效果。提高了目标特征表示对视频的表示效果。提高了目标特征表示对视频的表示效果。

【技术实现步骤摘要】
视频表示的生成方法、装置和电子设备


[0001]本公开涉及计算机
,尤其涉及一种视频表示的生成方法、装置、电子设备、存储介质和计算机程序产品。

技术介绍

[0002]目前,随着网络技术的发展,视频作为一种信息载体,丰富了人们的娱乐、学习等日常生活。相关技术中,需要生成视频的表示来区分不同的视频,比如视频检索应用场景下,可基于视频表示从视频库中检索视频,然而现有的视频表示方法,较为单一,不能全面反映视频信息,视频表示效果较差。

技术实现思路

[0003]提供了一种视频表示的生成方法、装置、电子设备、存储介质和计算机程序产品。
[0004]根据第一方面,提供了一种视频表示的生成方法,包括:获取视频对应的每个维度的特征表示集,其中,所述特征表示集中包括从所述视频的视频帧中在所述维度下提取出的特征表示;针对每个所述维度,对所述维度的特征表示集中的特征表示进行特征融合,生成所述维度的融合特征表示集;基于每个所述维度的所述融合特征表示集进行维度间的特征融合,生成所述视频的目标特征表示。
[0005]根据第二方面,提供了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频表示的生成方法,包括:获取视频对应的每个维度的特征表示集,其中,所述特征表示集中包括从所述视频的视频帧中在所述维度下提取出的特征表示;针对每个所述维度,对所述维度的特征表示集中的特征表示进行特征融合,生成所述维度的融合特征表示集;基于每个所述维度的所述融合特征表示集进行维度间的特征融合,生成所述视频的目标特征表示。2.根据权利要求1所述的方法,其中,所述对所述维度的特征表示集中的特征表示进行特征融合,生成所述维度的融合特征表示集,包括:将所述维度的特征表示集输入至所述维度对应的第一融合模型中,由所述第一融合模型输出所述维度的融合特征表示集。3.根据权利要求1所述的方法,其中,所述基于每个所述维度的所述融合特征表示集进行维度间的特征融合,生成所述视频的目标特征表示,包括:获取所述维度的任一融合特征表示对应的时序信息和维度类别信息;获取任一维度的任一融合特征表示与对应的所述时序信息和所述维度类别信息的和值,作为所述任一融合特征表示的目标融合特征表示;基于所述任一维度的每个融合特征表示的所述目标融合特征表示,生成所述任一维度的目标融合特征表示集;基于每个所述维度的所述目标融合特征表示集进行维度间的特征融合,生成所述目标特征表示。4.根据权利要求3所述的方法,其中,所述基于每个所述维度的所述目标融合特征表示集进行维度间的特征融合,生成所述目标特征表示,包括:将每个所述维度的所述目标融合特征表示集输入至多个维度对应的第二融合模型中,由所述第二融合模型进行维度间的特征融合,并输出所述目标特征表示。5.根据权利要求1

4任一项所述的方法,其中,所述方法还包括:获取候选检索库,所述候选检索库包括至少一个候选视频;基于所述目标特征表示,从所述候选视频中检索与所述视频相似的目标视频。6.根据权利要求5所述的方法,其中,所述基于所述目标特征表示,从所述候选视频中检索与所述视频相似的目标视频,包括:获取所述候选视频的候选特征表示;获取所述候选特征表示和所述目标特征表示之间的相似度;将相似度最高的候选特征表示对应的候选视频作为所述目标视频。7.根据权利要求1

4任一项所述的方法,其中,所述维度包括音频、物体、动作和字幕中的至少两个维度。8.根据权利要求1

4任一项所述的方法,其中,所述方法还包括:将所述目标特征表示作为所述视频的属性存储到所述视频对应的知识图谱中。9.一种视频表示的生成装置,包括:获取模块,用于获取视频对应的每个维度的特征表示集,其中,所述特征表示集中包括从所述视频的视频帧中在所述维度下提取出的特征表示;
第一融合模块,用于针对每个所述维度,对所述维度的特征表示集中的特征表示进行特征融合,生成所述维度的融合特征表示集;第二融合模块,用于基于每...

【专利技术属性】
技术研发人员:贺峰汪琦冯知凡柴春光
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1