一种视频特征提取方法、装置、可读存储介质及终端设备制造方法及图纸

技术编号:21914718 阅读:25 留言:0更新日期:2019-08-21 12:39
本发明专利技术属于计算机技术领域,尤其涉及一种视频特征提取方法、装置、计算机可读存储介质及终端设备。所述方法接收待处理的视频帧序列,并对所述视频帧序列进行空间卷积计算,得到所述视频帧序列的空间卷积输出,所述视频帧序列中包括若干帧连续的视频图像;对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出;对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出;对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出;根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结果,大大提高了整体的鲁棒性。

A Video Feature Extraction Method, Device, Readable Storage Media and Terminal Equipment

【技术实现步骤摘要】
一种视频特征提取方法、装置、可读存储介质及终端设备
本专利技术属于计算机
,尤其涉及一种视频特征提取方法、装置、计算机可读存储介质及终端设备。
技术介绍
现有技术中在进行视频特征提取时,广泛采用的是3D卷积,但现有的网络结构,如时空分解(FST,FactorizedSpatio-Temporal)网络中的3D卷积都作用在特征图的局部区域,从局部区域学习时序信息有局限性,也容易被随机因素干扰。以图1中所示的一段视频为例,一个运动员在裁判员的监督下进行跳高运动,如果将各帧图像中的方框区域作为观察窗,首先可以看到头部,然后是腿部,最后又是头部,其中,身体部位的第一次变化是从第t-1帧中的头部变为第t帧中的腿部,表明人体是向上运动的(如图中向上的箭头所示),这是有利于得出跳高这一预测结果的,但是,身体部位的第二次变化是从第t帧中的腿部变为第t+1帧中的头部,表明人体是向下运动的(如图中向下的箭头所示),这是不利于得出跳高这一预测结果的,之所以会有这样的偏差,是由于相机是从右向左移动的,在相机移动的过程中,出现在第t+1帧观察窗中的头部并不是运动员的头部,而是裁判员的头部。由此可见,传统的从空间局部去学习时序信息,容易受到比如相机的移动等等各种未知因素的干扰,鲁棒性较差。
技术实现思路
有鉴于此,本专利技术实施例提供了一种视频特征提取方法、装置、计算机可读存储介质及终端设备,以解决现有的从空间局部去学习时序信息,容易受到比如相机的移动等等各种未知因素的干扰,鲁棒性较差的问题。本专利技术实施例的第一方面提供了一种视频特征提取方法,可以包括:接收待处理的视频帧序列,并对所述视频帧序列进行空间卷积计算,得到所述视频帧序列的空间卷积输出,所述视频帧序列中包括若干帧连续的视频图像;对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出;对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出;对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出;根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结果。进一步地,所述对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出包括:根据下式对所述空间卷积输出进行时间卷积计算:或者,根据下式对所述空间卷积输出进行时间卷积计算:其中,1≤t≤T,T为所述视频帧序列的帧数,Xt为所述视频帧序列的第t帧视频图像的空间卷积输出,且H为所述空间卷积输出的高度,W为所述空间卷积输出的宽度,Cx为所述空间卷积输出的特征通道数目,1≤h≤H,1≤w≤W,1≤cx≤Cx,Yt为所述视频帧序列的第一时间卷积输出,且Cy为所述第一时间卷积输出的特征通道数目,α(cy)为预设的第cy个第一时间卷积滤波器,1≤cy≤Cy,且γ(cy)为预设的第cy个点卷积滤波器,且进一步地,所述对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出包括:根据下式对所述空间卷积输出进行空间池化计算:xt(cx)=Sh,w[Xt(cx,h,w)]其中,S为最大池化函数或者均值池化函数,xt(cx)为所述视频帧序列的第t帧视频图像在第cx个特征通道的空间池化输出。进一步地,所述对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出包括:根据下式对所述空间池化输出进行时间卷积计算:其中,β(cy)为预设的第cy个第二时间卷积滤波器,且yt(cy)为所述视频帧序列的第t帧视频图像在第cy个特征通道的第二时间卷积输出。进一步地,所述根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结果包括:根据下式对所述第一时间卷积输出进行矫正:其中,σ为预设的激活函数,为所述视频帧序列的特征提取结果。本专利技术实施例的第二方面提供了一种视频特征提取装置,可以包括:空间卷积模块,用于接收待处理的视频帧序列,并对所述视频帧序列进行空间卷积计算,得到所述视频帧序列的空间卷积输出,所述视频帧序列中包括若干帧连续的视频图像;第一时间卷积模块,用于对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出;空间池化模块,用于对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出;第二时间卷积模块,用于对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出;特征矫正模块,用于根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结果。进一步地,所述第一时间卷积模块具体用于根据下式对所述空间卷积输出进行时间卷积计算:或者,根据下式对所述空间卷积输出进行时间卷积计算:其中,1≤t≤T,T为所述视频帧序列的帧数,Xt为所述视频帧序列的第t帧视频图像的空间卷积输出,且H为所述空间卷积输出的高度,W为所述空间卷积输出的宽度,Cx为所述空间卷积输出的特征通道数目,1≤h≤H,1≤w≤W,1≤cx≤Cx,Yt为所述视频帧序列的第一时间卷积输出,且Cy为所述第一时间卷积输出的特征通道数目,α(cy)为预设的第cy个第一时间卷积滤波器,1≤cy≤Cy,且γ(cy)为预设的第cy个点卷积滤波器,且进一步地,所述空间池化模块具体用于根据下式对所述空间卷积输出进行空间池化计算:xt(cx)=Sh,w[Xt(cx,h,w)]其中,S为最大池化函数或者均值池化函数,xt(cx)为所述视频帧序列的第t帧视频图像在第cx个特征通道的空间池化输出。进一步地,所述第二时间卷积模块具体用于根据下式对所述空间池化输出进行时间卷积计算:其中,β(cy)为预设的第cy个第二时间卷积滤波器,且yt(cy)为所述视频帧序列的第t帧视频图像在第cy个特征通道的第二时间卷积输出。进一步地,所述特征矫正模块具体用于根据下式对所述第一时间卷积输出进行矫正:其中,σ为预设的激活函数,为所述视频帧序列的特征提取结果。本专利技术实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述任一种视频特征提取方法的步骤。本专利技术实施例的第四方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述任一种视频特征提取方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是:本专利技术实施例在接收到待处理的视频帧序列之后,首先对所述视频帧序列进行空间卷积计算,得到所述视频帧序列的空间卷积输出,然后分别在两个分支中进行处理,第一个分支对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出,第二个分支先对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出,再对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出,第二个分支的功能主要是从空间全局来学习时序信息,能够对局部的干扰更为鲁棒,最后使用第二个分支学习到的特征再对第一个分支中的原有特征进行矫正,从而大大提高了整体的鲁棒性。附图说明为了更清楚地说明本专利技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面本文档来自技高网...

【技术保护点】
1.一种视频特征提取方法,其特征在于,包括:接收待处理的视频帧序列,并对所述视频帧序列进行空间卷积计算,得到所述视频帧序列的空间卷积输出,所述视频帧序列中包括若干帧连续的视频图像;对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出;对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出;对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出;根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结果。

【技术特征摘要】
1.一种视频特征提取方法,其特征在于,包括:接收待处理的视频帧序列,并对所述视频帧序列进行空间卷积计算,得到所述视频帧序列的空间卷积输出,所述视频帧序列中包括若干帧连续的视频图像;对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出;对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出;对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出;根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结果。2.根据权利要求1所述的视频特征提取方法,其特征在于,所述对所述空间卷积输出进行时间卷积计算,得到所述视频帧序列的第一时间卷积输出包括:根据下式对所述空间卷积输出进行时间卷积计算:或者,根据下式对所述空间卷积输出进行时间卷积计算:其中,1≤t≤T,T为所述视频帧序列的帧数,Xt为所述视频帧序列的第t帧视频图像的空间卷积输出,且H为所述空间卷积输出的高度,W为所述空间卷积输出的宽度,Cx为所述空间卷积输出的特征通道数目,1≤h≤H,1≤w≤W,1≤cx≤Cx,Yt为所述视频帧序列的第一时间卷积输出,且Cy为所述第一时间卷积输出的特征通道数目,α(cy)为预设的第cy个第一时间卷积滤波器,1≤cy≤Cy,且γ(cy)为预设的第cy个点卷积滤波器,且3.根据权利要求1所述的视频特征提取方法,其特征在于,所述对所述空间卷积输出进行空间池化计算,得到所述视频帧序列的空间池化输出包括:根据下式对所述空间卷积输出进行空间池化计算:xt(cx)=Sh,w[Xt(cx,h,w)]其中,S为最大池化函数或者均值池化函数,xt(cx)为所述视频帧序列的第t帧视频图像在第cx个特征通道的空间池化输出。4.根据权利要求1所述的视频特征提取方法,其特征在于,所述对所述空间池化输出进行时间卷积计算,得到所述视频帧序列的第二时间卷积输出包括:根据下式对所述空间池化输出进行时间卷积计算:其中,β(cy)为预设的第cy个第二时间卷积滤波器,且yt(cy)为所述视频帧序列的第t帧视频图像在第cy个特征通道的第二时间卷积输出。5.根据权利要求1至4中任一项所述的视频特征提取方法,其特征在于,所述根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正,得到所述视频帧序列的特征提取结...

【专利技术属性】
技术研发人员:乔宇周磊王亚立
申请(专利权)人:深圳先进技术研究院
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1