视频检测方法及装置制造方法及图纸

本申请实施例公开了一种视频检测方法及装置，用以提高视频检测的效率。所述方法包括：提取待检测视频的关键帧特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。该技术方案不仅能够大大减少视频检测的运算量，提高视频检测的效率，还能够减少信息冗余。

【技术实现步骤摘要】
视频检测方法及装置
本专利技术涉及计算机及图像处理
，尤其涉及一种视频检测方法及装置。
技术介绍
目前的视频检测主要是基于帧的检测，检测网络通常可以分成特征提取网络和物体检测网络两个子网络。其中，特征提取网络提取视频的每一帧的特征，物体检测网络基于特征提取网络所提取的特征做检测。由于相近帧的相似度很高，提取出的特征相似度也很高，因此，对每一帧进行特征提取的运算量太大，且存在很多的信息冗余。
技术实现思路
本申请实施例的目的是提供一种视频检测方法及装置，用以提高视频检测的效率。为解决上述技术问题，本申请实施例是这样实现的：一方面，本申请实施例提供一种视频检测方法，包括：提取待检测视频的关键帧特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。可选地，所述根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图，包括：根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；根据所述预测因子及所述关键帧特征图预测所述相近帧特征图。可选地，所述预测因子包括灰度差、光流场中的至少一项。可选地，所述灰度差和/或所述光流场为矩阵形式；所述根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，包括：将所述灰度差和所述光流场分别对应的矩阵进行拼接、卷积处理，以使所述拼接后的矩阵与所述关键帧特征图对应的特征矩阵大小一致；将所述拼接后的矩阵与所述特征矩阵再次进行拼接、卷积处理，得到所述关键帧和所述相近帧之间的帧间差；根据所述帧间差和所述关键帧特征图预测所述相近帧特征图。可选地，所述提取待检测视频的关键帧特征图，包括：确定用于提取所述关键帧特征图的卷积神经网络的卷积核；利用所述卷积核与所述待检测视频的关键帧进行卷积处理，以获得所述关键帧特征图。另一方面，本申请实施例提供一种视频检测装置，包括：提取模块，用于提取待检测视频的关键帧特征图；预测模块，用于根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；检测模块，用于根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。可选地，所述预测模块包括：确定单元，用于根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；预测单元，用于根据所述预测因子及所述关键帧特征图预测所述相近帧特征图。可选地，所述预测因子包括灰度差、光流场中的至少一项。再一方面，本申请实施例提供一种视频检测设备，其特征在于，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：提取待检测视频的关键帧特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。再一方面，本申请实施例提供一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：提取待检测视频的关键帧特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。采用本专利技术实施例的技术方案，通过提取待检测视频的关键帧特征图，并根据关键帧特征图预测与关键帧临近的相近帧特征图，进而根据关键帧特征图和相近帧特征图对待检测视频进行监测，使得对待检测视频进行检测时只需提取关键帧特征图，而无需提取每一帧的特征图，从而大大减少视频检测的运算量，提高视频检测的效率。此外，由于相近帧之间的相似性，因此减少对相近帧的特征提取还能够减少信息冗余。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术一实施例的一种视频检测方法的示意性流程图；图2是根据本专利技术一实施例的一种视频检测方法中关键帧的示意图；图3是根据本专利技术一实施例的一种视频检测方法中Sobel卷积核的示意图；图4是根据本专利技术一实施例的一种视频检测方法中提取关键帧特征图的示意图；图5是根据本专利技术一实施例的一种视频检测方法中提取关键帧特征图的示意图；图6是根据本专利技术一实施例的一种视频检测方法中提取关键帧特征图的示意图；图7是根据本专利技术一实施例的一种视频检测装置的示意性框图；图8是根据本专利技术一实施例的一种视频检测设备的示意性框图。具体实施方式本申请实施例提供一种视频检测方法及装置，用以提高视频检测的效率。为了使本
的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。图1是根据本专利技术一实施例的一种视频检测方法的示意性流程图，如图1所示，该方法包括：步骤S101，提取待检测视频的关键帧特征图。在一个实施例中，可首先确定用于提取关键帧特征图的卷积神经网络的卷积核，进而利用卷积核与待检测视频的关键帧进行卷积处理，以获得关键帧特征图。其中，卷积核不唯一，可根据实际应用(如对提取关键帧特征图的要求)确定不同的卷积核，不同的卷积核可提取不同的关键帧特征图。以下详细介绍如何利用卷积神经网络提取关键帧特征图。卷积层的计算方法如公式(1)所示：conv＝σ(imgMatoW+b)(1)在公式(1)中，σ表示激活函数，imgMat表示灰度图像矩阵，W表示卷积核，o表示卷积操作，b表示偏置值。假设图2所示的512*512图像为视频中的某一关键帧。当需要提取该关键帧的特征图时，首先确定卷积核。本示例中，卷积核为Sobel卷积核。图3示出了分别在水平方向和垂直方向上的Sobel卷积核，其中，Gx表示水平方向，Gy表示垂直方向。首先用Sobel-Gx卷积核来对图像做卷积，由图2和图3可看出，Sobel-Gx卷积核大小为3*3，图像大小为512*512，假设不对图像做任何其他处理，直接做卷积，则卷积后的图像大小应为(512-3+1)x(512-3+1)，卷积结果如图4所示。然后，将上述卷积结果对应的矩阵中的每个元素均加上偏置值b，并将所得结果中的每个元素均输入到激活函数σ，得到最终的结果如图5所示。其中，激活函数σ如公式(2)所示：同理，利用Sobel-Gy卷积核来对图像做卷积，可得到如图6所示的结果。步骤S102，根据关键帧特征图预测与关键帧临近的相近帧特征图。在一个实施例中，执行步骤S102(即根据关键帧特征图预测与关键帧临近的相近帧特征图)时，可首先根据关键帧和相近帧计算用于预测相近帧特征图的预测因子，进而根据预测因子及关键帧特征图预测相近帧特征图。其中，预测因子可包括灰度差、光流场中的至少一项。为使更加准确地预测相近帧特征图，通常情况下，需同时使用灰度差和光流场这两个预测因子。具体的，将关键帧与其相近帧分别对应的图像灰度值矩阵作减法运算，即可得到关键帧与其相近帧之间的灰度差，采用这种方式计算得到的灰度差为矩阵形式。光流场是指视频图像中所有像素本文档来自技高网...

【技术保护点】
一种视频检测方法，其特征在于，包括：提取待检测视频的关键帧特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。

【技术特征摘要】
1.一种视频检测方法，其特征在于，包括：提取待检测视频的关键帧特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。2.根据权利要求1所述的方法，其特征在于，所述根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图，包括：根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；根据所述预测因子及所述关键帧特征图预测所述相近帧特征图。3.根据权利要求2所述的方法，其特征在于，所述预测因子包括灰度差、光流场中的至少一项。4.根据权利要求3所述的方法，其特征在于，所述灰度差和/或所述光流场为矩阵形式；所述根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，包括：将所述灰度差和所述光流场分别对应的矩阵进行拼接、卷积处理，以使所述拼接后的矩阵与所述关键帧特征图对应的特征矩阵大小一致；将所述拼接后的矩阵与所述特征矩阵再次进行拼接、卷积处理，得到所述关键帧和所述相近帧之间的帧间差；根据所述帧间差和所述关键帧特征图预测所述相近帧特征图。5.根据权利要求1所述的方法，其特征在于，所述提取待检测视频的关键帧特征图，包括：确定用于提取所述关键帧特征图的卷积神经网络的卷积核；利用所述卷积核与所述待检测视频的关...

【专利技术属性】
技术研发人员：张默，
申请(专利权)人：北京陌上花科技有限公司，
类型：发明
国别省市：北京,11