基于视频的飞鸟检测方法及装置制造方法及图纸

本发明专利技术实施例提供一种基于视频的飞鸟检测方法及装置，其中，该方法包括：获取待测视频；根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，其中，所述待检区域为可能存在飞鸟的区域；对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段；分别对每个视频段进行特征提取，并通过预设的第一SVM分类器对提取获得的特征进行处理，从而确定所述待测视频中是否存在飞鸟。本发明专利技术实施例提供的方法及装置，能够基于视频对飞鸟进行准确有效的检测。

Method and device for detecting birds based on video

The embodiment of the invention provides a method and device for detecting the birds, based on video, the method comprises: acquiring the video to be tested; according to the preset window in the gradient norm to be measured in each frame in the video image, the image of each frame to determine the area to be inspected, among them, the area to be inspected as possible there are birds in the region; to correlate the inspected region between each frame image, generating at least one predetermined length of the video segment; each video segment for feature extraction, and feature by the first SVM classifier to extract the presupposition for processing, so as to determine the presence of birds in the video to be tested. The method and the device provided by the embodiment of the invention can detect the flying bird accurately and effectively based on the video.

【技术实现步骤摘要】
基于视频的飞鸟检测方法及装置
本专利技术实施例涉及视频处理
，尤其涉及一种基于视频的飞鸟检测方法及装置。
技术介绍
随着低空空域的逐步开放，低空飞行安全问题也受到了更多的关注，其中，飞鸟是重要的低空威胁物之一。为了保障飞行器在复杂低空环境下的安全飞行，飞鸟检测作为其中的一项关键技术，受到了国内外航空界与学术界的高度重视。与一般的目标检测问题相比，飞鸟的外观和运动模式都具有一定的特殊性，这使得对其进行稳定检测变得更具挑战性。尤其突出的是，由于飞鸟外观的多样性，很难构造出足够的模版来处理不同的飞鸟外观模式，并且由于飞鸟运动模式的多变性，很难采用一种稳定特征对其进行全面描述，这就造成了飞鸟检测的准确性较低。
技术实现思路
本专利技术实施例提供一种基于视频的飞鸟检测方法及装置，用以基于视频对飞鸟进行准确有效的检测。本专利技术实施例第一方面提供一种基于视频的飞鸟检测方法，该方法包括：获取待测视频；根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，其中，所述待检区域为可能存在飞鸟的区域；对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段；分别对每个视频段进行特征提取，并通过预设的第一SVM分类器对提取获得的特征进行处理，从而确定所述待测视频中是否存在飞鸟。本专利技术实施例第二方面提供一种基于视频的飞鸟检测装置，该装置包括：获取模块，获取待测视频；确定模块，根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，其中，所述待检区域为可能存在飞鸟的区域；生成模块，对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段；处理模块，分别对每个视频段进行特征提取，并通过预设的第一SVM分类器对提取获得的特征进行处理，从而确定所述待测视频中是否存在飞鸟。本专利技术实施例，通过对特定环境进行视频拍摄，并根据预设窗口在该视频中每帧图片上的梯度范数，确定每帧图片上可能存在飞鸟的待检区域，进而根据每个待检区域的图像特征，即可确定视频中是否有飞鸟出现。本专利技术实施例不需要针对每种飞鸟都建立对应的稳定特征，也不需要针对每种飞鸟都建立对应的外观模型，因此实现起来较简单，且具有识别准确性较高的特点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的基于视频的飞鸟检测方法的流程图；图2为本专利技术一实施例提供的步骤103的执行方法流程图；图3为本专利技术一实施例提供的基于视频的飞鸟检测装置的结构图；图4为本专利技术一实施例提供的生成模块13的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术的说明书和权利要求书的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤的过程或结构的装置不必限于清楚地列出的那些结构或步骤而是可包括没有清楚地列出的或对于这些过程或装置固有的其它步骤或结构。图1为本专利技术一实施例提供的基于视频的飞鸟检测方法的流程图，该方法可以由一飞鸟检测装置来执行，该飞鸟检测装置可以是独立的硬件实体，也可以是设定在相应硬件实体中的可执行程序。如图1所述，该方法包括如下步骤：步骤101、获取待测视频。本实施例中所涉及的待测视频可以为从拍摄设备中直接获得的实时视频数据，也可以是从相应的数据库中间接获取到的历史视频数据。待测视频的大小和格式本实施例中不做限定。在图1中，还包括步骤102、根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，其中，所述待检区域为可能存在飞鸟的区域。可选的，在实际应用中获取到待测视频后，可以将待测视频逐帧分解为N-16个视频段，每段视频段有16帧图片，针对每帧图片利用预设的窗口计算其梯度范数(NG)，并将求得的梯度范数输入训练好的第二支持向量机((supportvectormachine，简称SVM)分类器中，确定每帧图片上可能存在飞鸟的区域。其中，N为待测视频的帧数，当然这里的“N”和“16”仅为示例说明而不是对本专利技术的唯一限定。进一步的，在提取预设窗口在每帧图片上的梯度范数时，考虑到待检测目标(即飞鸟)通常是独立的，而且都有很好定义的封闭轮廓，首先将预设窗口的尺寸设定为一个特定的尺度，比如本实施例中可以采用8×8的预设窗口，组合该预设窗口的像素梯度的幅值作为一个64维的特征。为了对预设窗口进行学习，采用两级的SVM进行训练和分类。该分类器的训练阶段所使用的数据库包含了现存各种鸟类处于飞行状态的图片，负样本选取的是飞鸟图片的背景。通过该分类器提取出每帧图片可能存在飞鸟的待检区域。在图1中，还包括步骤103、对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段，并分别对每个视频段进行特征提取，通过预设的第一SVM分类器对提取获得的特征进行处理，从而确定所述待测视频中是否存在飞鸟。图2为本专利技术一实施例提供的步骤103的执行方法流程图，如图2所示，该方法包括：步骤201、确定所述待测视频中是否存在相邻两帧图片其待检区域之间的相似度超过预设阈值，若存在，则执行步骤202-步骤203，否则执行步骤204。可选的，实际中可以使用MatchNet网络计算相邻帧间待检区域的相似度，并确定所述相似度是否超过预设阈值。MatchNet网络是由两个并联的特征网络与一个计算匹配度的度量网络串联起来得到的。在训练阶段，特征网络用作“双塔”，共享参数。双塔的输出串联在一起作为度量网络的输入。特征网络由预处理层、五个卷积层以及一个bottleneck层串联得到。其中，预处理层将整型的像素强度值归一准化为(-1,1)之间的浮点型数值；重点的特征提取部分包含五个卷积层和三个池化层，其中，池化层选择最大池化；bottleneck层是一个全连接层，用来降低特征的维度，避免过拟合的出现。匹配网络由三个全连接层和一个softmax层组成，由softmax层输出结果表示为两个待检区域相似度的值。在图2中，还包括步骤202、将所述两帧图片的待检区域关联为同一待检区域，并根据关联处理后的所述待测视频生成至少一个预设长度的视频段。在图2中，还包括步骤203、分别对每个视频段中每个不同的待检区域进行特征提取，完成提取后跳转至步骤205。在图2中，还包括步骤204、直接对所述待测视频中每帧图片上的待检区域进行特征提取，完成提取后跳转至步骤205。可选的，本实施例通过C3D特征提取器对待测视频中每帧图片上的待检区域进行特征提取。其中，C3D网络是一个处理视频段的特征提取器。它包含五个卷积层，五个池化层，每个卷基层后面跟着一个池化层，两个全连接层和一个softmax层用来预测分类结果。五个卷积层的神经元个数分别为64,128,256,256,256。同时，所有的卷积层有相同大小的本文档来自技高网...

【技术保护点】
一种基于视频的飞鸟检测方法，其特征在于，包括：获取待测视频；根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，其中，所述待检区域为可能存在飞鸟的区域；对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段；分别对每个视频段进行特征提取，并通过预设的第一SVM分类器对提取获得的特征进行处理，从而确定所述待测视频中是否存在飞鸟。

【技术特征摘要】
1.一种基于视频的飞鸟检测方法，其特征在于，包括：获取待测视频；根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，其中，所述待检区域为可能存在飞鸟的区域；对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段；分别对每个视频段进行特征提取，并通过预设的第一SVM分类器对提取获得的特征进行处理，从而确定所述待测视频中是否存在飞鸟。2.根据权利要求1所述的方法，其特征在于，所述根据预设窗口在待测视频中每帧图片上的梯度范数，确定所述每帧图片上的待检区域，包括：通过第二SVM分类器对预设窗口在待测视频中每帧图片上的梯度范数进行处理，从而确定所述每帧图片上的待检区域，其中，所述第二SVM分类器中存储有各种飞鸟在飞行状态时的图片。3.根据权利要求1所述的方法，其特征在于，所述对各帧图片之间的待检区域进行关联，生成至少一个预设长度的视频段，包括：确定所述待测视频中是否存在相邻两帧图片其待检区域之间的相似度超过预设阈值；若存在，则将所述两帧图片的待检区域关联为同一待检区域，并根据关联处理后的所述待测视频生成至少一个预设长度的视频段。4.根据权利要求3所述的方法，其特征在于，所述分别对每个视频段进行特征提取，包括：通过C3D特征提取器分别对每个视频段中每个不同的待检区域...

【专利技术属性】
技术研发人员：曹先彬，田舒曼，李岩，郑洁宛，刘俊英，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11