卷积神经网络提取视频帧中目标物特征的方法及装置制造方法及图纸

技术编号:38901844 阅读:14 留言:0更新日期:2023-09-22 14:20
本申请涉及一种卷积神经网络提取视频帧中目标物特征的方法及装置,其中方法包括:计算当前视频帧中的目标物所占比例;根据所述目标物所占比例确定所述当前视频帧的采样方式,以生成多种不同尺寸的视频帧;将所述多种不同尺寸的视频帧分别输入到对应的感受野中,生成多个采样特征集合;根据所述多个采样特征集合生成视频帧特征集合。本申请提出的。本申请提出的。本申请提出的。

【技术实现步骤摘要】
卷积神经网络提取视频帧中目标物特征的方法及装置


[0001]本申请涉及图像特征提取领域,特别是涉及一种卷积神经网络提取视频帧中目标物特征的方法及装置。

技术介绍

[0002]目前,由于拍摄镜头的远近的不同,导致成像后目标物在画面中的占比不断发生变化,这对利用卷积神经网络提取视频中目标物的特征信息是一个很大的挑战。
[0003]现有技术中主要通过以下两种方式提升特征提取效果:第一种方法是通过固定摄像头进行拍摄,在生成画面时即规避目标物在画面中占比不同的问题。这种方法的通用性较差,只能在待识别视频还没有拍摄的时候进行,没有从根源上解决问题。第二种方法是通过加深卷积神经网络的结构来提升卷积神经网络对特征信息的提取效果。但是,由于卷积神经网络深度的加深,运行速度会降低,时延会增加,降低了特征提取的实时性。
[0004]因此,需要一种既没有降低卷积神经网络运行速度,又能提升卷积神经网络对不同目标物占比的图像的特征提起效果的方法。

技术实现思路

[0005]针对现有技术中的问题,本申请提供了一种卷积神经网络提取视频帧中目标物特征的方法,本申请提出的方法根据当前视频帧中目标物所占的比例对当前视频帧进行不同采样,将采样后的多种尺寸的视频帧输入到对应的感受野中进行特征提取,得到多个特征集合后再复原求和,从而得出当前视频帧的目标物特征。
[0006]根据本申请的第一个方面,提出一种卷积神经网络提取视频帧中目标物特征的方法,包括:
[0007]计算当前视频帧中的目标物所占比例;
[0008]根据所述目标物所占比例确定所述当前视频帧的采样方式,以生成多种不同尺寸的视频帧;
[0009]将所述多种不同尺寸的视频帧分别输入到对应的感受野中,生成多个采样特征集合;
[0010]根据所述多个采样特征集合生成视频帧特征集合。
[0011]根据一些实施例,所述根据所述多个采样特征集合生成视频帧特征集合包括:
[0012]将所述多个采样特征集合复原到所述当前视频帧的原始尺寸,以生成多个复原特征集合;
[0013]将所述多个复原特征集合求和,得到视频帧特征集合。
[0014]根据一些实施例,所述将所述多个采样特征集合复原到所述当前视频帧的原始尺寸包括:
[0015]根据所述采样方式进行复原。
[0016]根据一些实施例,所述采样方式包括上下采样、上采样和下采样,其中:
[0017]所述上下采样包括将所述当前视频帧进行一次或多次放大和一次或多次缩小;
[0018]所述上采样包括将所述当前视频帧进行一次或多次放大;
[0019]所述下采样包括将所述当前视频帧进行一次或多次缩小。
[0020]根据一些实施例,所述根据所述目标物所占比例确定所述视频帧的采样方式包括:
[0021]在所述目标物所占比例低于第一占比阈值的情况下,确定所述视频帧的采样方式为上采样;
[0022]在所述目标物所占比例高于第二占比阈值的情况下,确定所述视频帧的采样方式为下采样;
[0023]在所述目标物所占比例高于第一占比阈值,并且低于第二占比阈值的情况下,确定所述视频帧的采样方式为上下采样。
[0024]根据一些实施例,所述感受野包括第一感受野、第二感受野和第三感受野,其中:
[0025]所述第一感受野用于提取视频帧尺寸小于第一尺寸阈值的视频帧中目标物特征;
[0026]所述第二感受野用于提取视频帧尺寸大于所述第一尺寸阈值且小于第二尺寸阈值的视频帧中目标物特征;
[0027]所述第三感受野用于提取视频帧尺寸大于所述第二尺寸阈值的视频帧中目标物特征。
[0028]根据本申请的第二个方面,提出一种卷积神经网络提取目标视频中目标物特征的方法,包括
[0029]接收目标视频;
[0030]将所述目标视频分解为多个视频帧;
[0031]按如本申请第一个方面所述的方法提取依次所述多个视频帧中目标物特征,得到多个视频帧特征集合,将所述多个视频帧特征集合作为所述目标视频的目标物特征。
[0032]根据本申请的第三个方面,提出一种卷积神经网络提取视频帧中目标物特征的装置,包括:
[0033]比例识别模块用于识别当前视频帧中的目标物所占比例;
[0034]采样模块用于根据所述目标物所占比例确定所述当前视频帧的采样方式,生成多种不同尺寸的视频帧;
[0035]采样特征生成模块用于将所述多种不同尺寸的视频帧分别输入到对应的感受野中,生成多个采样特征集合;
[0036]视频帧特征生成模块用于根据所述多个采样特征集合生成视频帧特征集合。
[0037]根据本申请的第四个方面,提出一种电子设备,包括:
[0038]处理器;
[0039]存储器,存储有计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器执行如本申请第一个方面所述的方法。
[0040]根据本申请的第五个方面,提出一种非瞬时性计算机可读存储介质,其上存储有计算机可读指令,当所述指令被处理器执行时,使得所述处理器执行如本申请第一个方面所述的方法。。
[0041]本申请提供的卷积神经网络提取视频帧中目标物特征的方法和装置,根据当前视
频帧中目标物所占的比例进行不同采样,将采样后的多种尺寸的视频帧输入到对应的感受野中进行特征提取,得到多个特征集合后再复原求和,从而得出当前视频帧的目标物特征。根据本申请提供的方案,能够在不降低卷积神经网络的运行速度的前提下,提升卷积神经网络对目标物占比不同的画面的特征提取效果。
附图说明
[0042]为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图,而并不超出本申请要求保护的范围。
[0043]图1为本申请的卷积神经网络提取视频帧中目标物特征的方法的流程图;
[0044]图2为本申请的卷积神经网络提取目标视频中目标物特征的方法的流程图;
[0045]图3为本申请的卷积神经网络提取视频帧中目标物特征的装置的示意图;
[0046]图4为本申请提供的一种电子设备的结构图。
具体实施方式
[0047]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0048]图1为本申请的卷积神经网络提取视频帧中目标物特征的方法的流程图。如图1所示,该方法包括如下步骤。
[0049]步骤S101,计算当前视频帧中的目标物所占比例。
[0050]在一些具体实施例中,目标物为人物。在一些具体实施例中,识别当前视频帧中的本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种卷积神经网络提取视频帧中目标物特征的方法,包括:计算当前视频帧中的目标物所占比例;根据所述目标物所占比例确定所述当前视频帧的采样方式,以生成多种不同尺寸的视频帧;将所述多种不同尺寸的视频帧分别输入到对应的感受野中,生成多个采样特征集合;根据所述多个采样特征集合生成视频帧特征集合。2.如权利要求1所述的方法,其特征在于,所述根据所述多个采样特征集合生成视频帧特征集合包括:将所述多个采样特征集合复原到所述当前视频帧的原始尺寸,以生成多个复原特征集合;将所述多个复原特征集合求和,得到视频帧特征集合。3.如权利要求2所述的方法,其特征在于,所述将所述多个采样特征集合复原到所述当前视频帧的原始尺寸包括:根据所述采样方式进行复原。4.如权利要求1所述的方法,其特征在于,所述采样方式包括上下采样、上采样和下采样,其中:所述上下采样包括将所述当前视频帧进行一次或多次放大和一次或多次缩小;所述上采样包括将所述当前视频帧进行一次或多次放大;所述下采样包括将所述当前视频帧进行一次或多次缩小。5.如权利要求4所述的方法,其特征在于,所述根据所述目标卷号:230253CI物所占比例确定所述视频帧的采样方式包括:在所述目标物所占比例低于第一占比阈值的情况下,确定所述视频帧的采样方式为上采样;在所述目标物所占比例高于第二占比阈值的情况下,确定所述视频帧的采样方式为下采样;在所述目标物所占比例高于第一占比阈值,并且低于第二占比阈值的情况下,确定所述视频帧的采样方式为上下采样。6.如权利要求1所述的方法,其特征在于,所述感受野包...

【专利技术属性】
技术研发人员:成冠举范文新曲坛高剑飞
申请(专利权)人:江苏医百聚智科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1