视频处理方法、装置、计算机可读介质及电子设备制造方法及图纸

技术编号:22055414 阅读:29 留言:0更新日期:2019-09-07 15:18
本发明专利技术的实施例提供了一种视频处理方法、装置、计算机可读介质及电子设备。该视频处理方法包括:分别提取第一视频的特征和第二视频的特征,得到所述第一视频的第一特征向量和所述第二视频的第二特征向量;基于注意力机制对所述第一特征向量进行处理,得到第三特征向量;基于所述第二特征向量和所述第三特征向量进行双线性匹配,以得到匹配结果;根据所述匹配结果在所述第二视频中定位所述第一视频。本发明专利技术实施例的技术方案在视频检索时能够精确定位到视频中的相关片段,并且能够提高视频检索效率,降低了视频检索的难度及视频检索所花费的时间。

Video Processing Method, Device, Computer Readable Media and Electronic Equipment

【技术实现步骤摘要】
视频处理方法、装置、计算机可读介质及电子设备
本专利技术涉及计算机及通信
,具体而言,涉及一种视频处理方法、装置、计算机可读介质及电子设备。
技术介绍
视频检索是从一个视频集合中找出与给定的视频内容相关的视频,目前的检索方案通常只能返回查找到的整个视频,之后还需要人工观看视频来确定其中的相关片段,检索效率较低,同时相关技术中的视频检索方案还存在准确性较差的问题。需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的实施例提供了一种视频处理方法、装置、计算机可读介质及电子设备,进而至少在一定程度上克服视频检索效率较低的问题。本专利技术的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本专利技术的实践而习得。根据本专利技术实施例的一个方面,提供了一种视频处理方法,包括:分别提取第一视频的特征和第二视频的特征,得到所述第一视频的第一特征向量和所述第二视频的第二特征向量;基于注意力机制对所述第一特征向量进行处理,得到第三特征向量;基于所述第二特征向量和所述第三特征向量进行本文档来自技高网...

【技术保护点】
1.一种视频处理方法,其特征在于,包括:分别提取第一视频的特征和第二视频的特征,得到所述第一视频的第一特征向量和所述第二视频的第二特征向量;基于注意力机制对所述第一特征向量进行处理,得到第三特征向量;基于所述第二特征向量和所述第三特征向量进行双线性匹配,以得到匹配结果;根据所述匹配结果在所述第二视频中定位所述第一视频。

【技术特征摘要】
1.一种视频处理方法,其特征在于,包括:分别提取第一视频的特征和第二视频的特征,得到所述第一视频的第一特征向量和所述第二视频的第二特征向量;基于注意力机制对所述第一特征向量进行处理,得到第三特征向量;基于所述第二特征向量和所述第三特征向量进行双线性匹配,以得到匹配结果;根据所述匹配结果在所述第二视频中定位所述第一视频。2.根据权利要求1所述的视频处理方法,其特征在于,分别提取第一视频的特征和第二视频的特征,包括:基于三维卷积神经网络分别提取所述第一视频的特征和所述第二视频的特征。3.根据权利要求2所述的视频处理方法,其特征在于,在基于所述三维卷积神经网络分别提取所述第一视频的特征和所述第二视频的特征之后,对提取到的所述第一视频的特征和所述第二视频的特征进行降维处理,以得到所述第一特征向量和所述第二特征向量。4.根据权利要求1所述的视频处理方法,其特征在于,基于注意力机制对所述第一特征向量进行处理,得到第三特征向量,包括:计算各个所述第一特征向量与各个所述第二特征向量之间的相关性;基于各个所述第一特征向量与各个所述第二特征向量之间的相关性,确定各个所述第一特征向量对应的权重因子;根据各个所述第一特征向量和各个所述第一特征向量对应的权重因子,计算所述第三特征向量。5.根据权利要求4所述的视频处理方法,其特征在于,通过以下公式计算各个所述第一特征向量与各个所述第二特征向量之间的相关性:其中,ei,j表示第i个第二特征向量与第j个第一特征向量之间的相关性;表示第j个第一特征向量;表示第i个第二特征向量;表示第i-1个第二特征向量与对应的所述第三特征向量之间的匹配结果;Wq、Wr、Wm和bm表示公式的计算参数。6.根据权利要求5所述的视频处理方法,其特征在于,通过以下公式确定各个所述第一特征向量对应的权重因子:其中,αi,j表示第j个第一特征向量对应的权重因子;ω和b表示公式的计算参数;k最小值为1,最大值为所述第二特征向量的个数。7.根据权利要求6所述的视频处理方法,其特征在于,根据各个所述第一特征向量和各个所述第一特征向量对应的权重因子,计算所述第三特征向量,包括:根据各个所述第一特征向量和各个所述第一特征向量对应的权重因子,对各个所述第一特征向量进行加权求和,以得到所述第三特征向量。8.根据权利要求1所述的视频处理方法,其特征在于,基于所述第二特征向量和所述第三特征向量进行双线性匹配,以得到匹配结果,包括:对所述第二特征向量和所述第三特征向量进行交叉过滤处理,得到所述第二特征向量过滤后对应的第四特征向量和所述第三特征向量过滤后对应的第五特征向量;对所述第四特征向量和所述第五特征向量进行双线性匹配,得到所述匹...

【专利技术属性】
技术研发人员:冯洋马林刘威罗杰波
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1