一种基于图像显著性和特征先验模型的视频目标检测方法技术

一种基于图像显著性和特征先验模型的视频目标检测方法，根据输入正负样本训练卷积神经网络，作为目标的特征先验模型；提取图像序列中某一图像帧的显著性区域，聚类得到显著性候选框；将显著性候选框输入特征先验模型，预测目标位置，以实现图像帧中的目标检测；利用特征先验模型在显著性候选框中定位关键点，利用L‑K稀疏光流方法对关键点计算，预测目标运动方向；在图像帧中，提取满足运动方向约束与置信度阈值的候选，作为新的正负样本，输入并更新特征先验模型；针对所述图像序列中的每个图像帧，重复步骤，实现图像序列的目标检测。本发明专利技术实现了目标的检测，且具有抗干扰能力强、检测精度高、实时性能好的特点，增强了目标检测系统的工程应用能力。

【技术实现步骤摘要】
一种基于图像显著性和特征先验模型的视频目标检测方法
本专利技术涉及图像处理领域，特别是涉及复杂的运动背景下目标的检测的问题，采用了将图像显著性和目标先验特征结合的方法，在提高了目标检测精度的同时，降低了算法的复杂度，满足了视频目标检测的实时性要求。
技术介绍
随着自动驾驶技术，无人机技术，安防监控技术的发展，视频中的目标检测成为了当前图像处理研究领域的一大热点。如何在复杂的运动背景下精确地定位目标，以及如何利用有限的计算资源快速地定位目标，是目前这一领域需要解决的两大难题。传统的视频目标检测方法大多是利用了图像帧与帧之间的目标运动信息，比如背景差分法、帧间差分法、光流法等等。背景差分法往往应用于背景变化较小的应用场合，例如安防监控领域，通过维护一个稳定的背景信息，将原始的图像减去稳定的背景信息就得到了需要的前景目标的位置和尺寸。但是这种方法对光照变化、天气、背景变化比较敏感，对于画面中存在明暗交替阴影的应用场景或者是像自动驾驶和无人机这类相机本身在快速运动的应用场景，效果比较差；帧间差分的方法，首先计算相邻两帧或者相邻三帧之间的差值，然后利用聚类、区域划分的方法，将像素变化明显的区域定位出来，就是要检测的目标。但由于运动目标像素上的相似性，这种方法经常不能完整地检测出运动目标，检测精度比较低；光流法是通过计算目标在三维空间中的运动矢量场投影到视频二维平面上的运动矢量—光流场，来检测运动目标的方法。光流场反映了图像上每个像素点的灰度变化趋势，它可看成是像素点在图像平面上运动而产生的瞬时速度场,也是一种对真实运动场的近似估计。光流方法不需要预先知道场景的任何信息，可以精确计算出物体的运动速度，但是大多数光流方法的计算相当复杂,对硬件要求比较高,不适于实时处理,而且对噪声比较敏感、抗噪声性能差。不仅如此，这些传统的方法还都存在这一个共同的缺陷：就是只能检测运动的目标，而对于视频中静止的特殊目标则无能无力。近几年，研究人员将深度学习方法，即卷积神经网络，应用到了静态图像中的目标检测上，大大的提高了目标检测的精度。比如在2014年由RossGirshick等人提出的R-CNN的方法，以及后续在2015年和2016年相继提出的Fast-RCNN和Faster-RCNN的方法，大大的提高了静态图像中目标的检测精度。这一类方法首先在全图中提取目标的候选框，然后通过卷积神经网络提取候选框的图像特征；之后利用全连接层搭建分类器，对候选框中的目标进行分类；最后通过目标框的线性回归，提高目标的定位精度和进行尺寸估计。虽然这类方法解决了传统检测方法精度不高、只能针对运动目标的缺陷，但是依然存在明显的不足:(1)针对单幅图像独立的做目标检测，无法维持每个目标在视频中位置的一贯性；(2)利用卷积神经网络提取目标特征，需要大量的数据集进行线下训练，特征提取依赖于GPU的硬件环境，计算复杂度高、功耗很大，检测系统难以搭建在移动平台上；(3)实时性不高，难以满足30帧/秒的实时视频处理要求。专利公开号107229904A，提出了一种完全利用深度神经网络进行目标检测的方法，采用区域建议网络(RPN)的方法提取全图中的目标候选框。但是整体系统存在网络参数较大、计算复杂度高的问题，专利中提到实验完全建立在CPU+GPU的架构下，没有标明算法的处理时间。专利公开号107247930A，则是提出了应用卷积神经网络和显著性的方法检测合成孔径雷达图像中目标的方法。但是与本专利技术不同的是，该方法没有考虑目标特征模型的更新问题，完全利用已经训练好的模型进行目标检测，对于目标的追踪性能比较差。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种基于图像显著性和特征先验模型的视频目标检测方法，针对复杂运动背景下存在运动或静止目标的情况下，利用图像显著性和目标特征先验模型相结合的方法，实现了目标的检测，且具有抗干扰能力强、检测精度高、实时性能好的特点，增强了目标检测系统的工程应用能力。本专利技术技术解决方案为：一种基于图像显著性和特征先验模型的视频目标检测方法，包括以下步骤：首先，针对特定检测目标，利用训练视频，分别选取目标和背景场景作为正、负样本，训练卷积神经网络，作为目标的特征先验模型；其次，利用谱残差的方法提取图像中的显著性区域，然后利用聚类的方法得到目标候选框，缩小目标定位的范围，提高算法效率，降低误检率；再次，根据目前学习得到的目标特征模型，提取目标候选框的特征信息，利用全连接网络预测目标位置；最后，通过L-K光流的方法跟踪视频中所有的目标，利用目标运动约束选取候选框，同时利用相关性判决条件做阈值判断，置信度高的作为正样本，置信度低的作为负样本，更新目标的特征模型。实现步骤如下：(1)根据输入正负样本训练卷积神经网络，作为目标的特征先验模型；(2)利用谱残差法提取图像序列中某一图像帧的显著性区域，然后通过聚类得到显著性候选框；(3)利用特征先验模型，提取目标候选框中的特征，预测目标位置，以实现所述图像帧中的目标检测；(4)根据特征先验模型的特点定位目标关键点，利用L-K稀疏光流方法对关键点计算光流信息，预测目标运动方向；(5)在所述图像帧中，提取满足运动方向约束与置信度阈值的候选框，作为新的正负样本，输入并更新特征先验模型；(6)针对所述图像序列中的每个图像帧，重复步骤(2)至步骤(5)，实现图像序列的目标检测。所述步骤(2)中，利用K-Means聚类方法得到显著性候选框。所述步骤(4)中，利用所述卷积神经网络提取所述显著性候选框的特征点，将所述卷积神经网络全连接层对应的连接权重排序，筛选权重值大于设定阈值的特征点为关键点。所述步骤(4)中，利用L-K稀疏光流方法对关键点计算光流信息，预测目标运动方向的实现如下：其中，x代表所述图像帧的水平方向；y代表所述图像帧的垂直方向；u代表目标在x方向的速度；v代表y方向的速度；Ix代表所述图像帧的像素灰度值在x方向的偏导；Iy代表所述图像帧的像素灰度值在y方向的偏导；It代表所述图像帧的像素灰度值随时间t的偏导。所述步骤(5)中，在运动方向约束的条件下利用相关性判决条件得到候选框的置信度。所述步骤(5)中，所述提取满足运动方向约束的候选框是指在步骤(4)得到目标运动方向后，在所述目标运动方向上每隔设定值的像素，同时在垂直于所述目标运动方向的方向上引入设定值的偏差，从而提取若干个候选框。本专利技术与现有技术相比优点在于：(1)本专利技术提出了利用卷积神经网络的方法，针对特定待检测目标，建立特征先验模型的方法；同时考虑了工程实现的需要，具有模型参数少，训练时间短的特点；经过不断试验证明，能够实现高精度的待检测目标定位；(2)本专利技术提出了利用图像的显著性算法减小视频图像中待检测目标搜索范围的方法，降低了目标检测的复杂度；实验证明，经过了显著性候选框提取后，处理一幅图像帧的时间缩减到了25ms左右；(3)本专利技术创造性地将光流跟踪的方法和卷积神经网络的检测方法相结合；首先利用卷积网络中全连接层提供的信息定位稀疏光流的关键点；其次，利用光流跟踪的方法，利用运动方向约束条件提取目标的候选位置和可能干扰区域，作为正样本和困难负样本(hard-negativesamples)；通过更新特征模板的策略，提高特征先验模型的本文档来自技高网...

【技术保护点】
1.一种基于图像显著性和特征先验模型的目标检测方法，特征在于包括以下步骤：(1)根据输入的正负样本训练卷积神经网络，作为目标的特征先验模型；(2)利用谱残差法提取图像序列中某一图像帧的显著性区域，然后通过聚类得到显著性候选框；(3)利用特征先验模型，提取目标候选框中的特征，预测目标位置，以实现所述图像帧中的目标检测；(4)根据特征先验模型的特点定位目标关键点，利用L‑K稀疏光流方法对关键点计算光流信息，预测目标运动方向；(5)在所述图像帧中，提取满足运动方向约束与置信度阈值的候选框，作为新的正负样本，输入并更新特征先验模型；(6)针对所述图像序列中的每个图像帧，重复步骤(2)至步骤(5)，实现图像序列的目标检测；所述步骤(4)中，利用所述卷积神经网络提取所述显著性候选框的特征点，将所述卷积神经网络全连接层对应的连接权重排序，筛选权重值大于设定阈值的特征点为关键点；所述步骤(5)中，在运动方向约束的条件下利用相关性判决条件得到候选框的置信度,根据候选框置信度提取正负样本，更新特征先验模型；所述步骤(5)中，所述提取满足运动方向约束的候选框是指在步骤(4)得到目标运动方向后，在所述目标运动方向上每隔设定值的像素，同时在垂直于所述目标运动方向的方向上引入设定值的偏差，从而提取若干个候选框。...

【技术特征摘要】
1.一种基于图像显著性和特征先验模型的目标检测方法，特征在于包括以下步骤：(1)根据输入的正负样本训练卷积神经网络，作为目标的特征先验模型；(2)利用谱残差法提取图像序列中某一图像帧的显著性区域，然后通过聚类得到显著性候选框；(3)利用特征先验模型，提取目标候选框中的特征，预测目标位置，以实现所述图像帧中的目标检测；(4)根据特征先验模型的特点定位目标关键点，利用L-K稀疏光流方法对关键点计算光流信息，预测目标运动方向；(5)在所述图像帧中，提取满足运动方向约束与置信度阈值的候选框，作为新的正负样本，输入并更新特征先验模型；(6)针对所述图像序列中的每个图像帧，重复步骤(2)至步骤(5)，实现图像序列的目标检测；所述步骤(4)中，利用所述卷积神经网络提取所述显著性候选框的特征点，将所述卷积神经网络全连接层对应的连接权重排序，筛选权重值大于设定阈值的特征点为关键点；所述步骤(5)中，在运动方向约束的条件下利用相关性判决...

【专利技术属性】
技术研发人员：张弘，张泽宇，李军伟，杨一帆，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11