一种基于光流特征的视频目标检测与跟踪方法技术

一种基于光流特征的视频目标检测与跟踪方法，第一步为视频目标检测：首先对输入的图像帧序列进行背景采样，计算采样后的每个像素点的光流矢量，并通过Mean Sift算法估计背景运动，然后估计目标的整体显著性，最后通过目标显著性检测的结果设定阈值，实现目标区域与背景区域的分离。第二步为视频目标跟踪：首先选取目标区域为正样本，背景区域为负样本；利用Haar特征和目标全局颜色特征对目标进行描述，并采用随机矩阵的方式对原有特征进行抽样压缩；通过贝叶斯准则判断它与上一帧目标的相似性，最后利用粒子滤波算法对目标进行持续跟踪。本发明专利技术将目标运动显著性、颜色、纹理等多特征融合，提高目标检测的成功率，实现快速、有效地持续跟踪。

A method of video object detection and tracking based on optical flow characteristics

A video object detection and tracking method based on optical flow characteristics, the first step for video target detection: first of all, the background of the input image frame sequence sampling, after sampling the optical flow vector is calculated for each pixel, and the Mean Sift algorithm background motion estimation, and then estimate the overall significant goal, finally through the target significantly the results of detection threshold, realize the separation of the target area and background area. The second step for video target tracking: first select the target area for positive samples, background negative samples; the target is described by the Haar characteristic and the goal of global color feature, and the random matrix of original feature sample compression; judging the similarity with a target frame by Bias criterion, finally using particle continuous filtering algorithm for target tracking. The invention combines target movement saliency, color, texture and other features so as to improve the success rate of target detection and realize fast and effective continuous tracking.

【技术实现步骤摘要】
一种基于光流特征的视频目标检测与跟踪方法
本专利技术属于视觉图像处理
，涉及目标检测与跟踪方法，特指一种基于光流特征的视频目标检测与跟踪方法。
技术介绍
运动目标的检测与跟踪是计算机视觉研究中的热点和难点之一。运动目标的检测与跟踪在智能交通、安全监控以及军事领域有着广阔的应用前景。无人机具有高机动性、高分辨率、隐蔽性好、操作灵活等优势，利用无人机搭载的视频传感器对地面运动目标进行跟踪与分析，具有重要的实践意义和理论价值。然而由于视频传感器随着无人机的高速运动而运动以及视频序列影像中背景的复杂性和运动目标信息的多样性的特点，使得处理目标检测跟踪的问题变得更加困难。运动目标的检测是实现目标跟踪以及运动目标分析、处理的基础，根据摄像机运动的情况，可以将运动目标检测分为静止背景的目标检测和运动背景的目标检测。近年来，国内外研究者提出了许多运动目标检测的方法，主要包括静止背景下的帧差法、背景相减法、期望最大化法和基于图论的方法等，动态背景下的光流法、统计模型法、水平集方法等。帧差法是将连续两帧影像对应像素点的灰度值相减，判断差值的大小来确定该像素属于背景还是运动目标，再利用这些像素区域计算出运动目标在图像中的位置，该方法计算简单、快速，但由于影像中目标大小、背景亮度不同，使得检测效果容易受到不良影响。将光流技术引入到运动目标检测跟踪研究中，不需要预先知道场景的任何先验信息，根据各个像素点的速度矢量特征，对图像进行动态分析，能够检测出独立运动目标。运动目标跟踪是在检测基础上对目标运动状态的进一步分析，主要分为两类，一是基于运动目标先验知识的跟踪，先检测提取影像中的运动目标并建模，再通过模板匹配等策略找到下一帧图像中相应目标区域位置，实现目标跟踪；二是不依赖运动目标的先验知识，直接从视频序列图像中检测运动目标，并对感兴趣的目标进行跟踪。目标跟踪算法与目标的有效表达形式密切相关，目标的描述方式主要包括质心法、区域法、特征点法以及边缘轮廓等方法，可以大致的概括为4类：基于特征的跟踪、基于区域的跟踪、基于轮廓的跟踪和基于模型的跟踪。基于特征的跟踪法，通过提取运动目标的显著特征来实现目标跟踪，该算法不受目标发生变形或光照变化的影响，目标部分遮挡情况下也能实现跟踪，但如何选择和描述目标特征，实现运动目标的持续跟踪是难点；基于区域跟踪法首先利用运动目标检测方法分割提取包含运动目标的区域，以矩形或椭圆形成一个模板来表示该区域，然后利用灰度或颜色相关的算法对下一帧进行匹配，从而实现跟踪，该算法在目标没有遮挡前提下，实现稳定跟踪，当目标形变或遮挡区域较大时，跟踪精度下降；基于轮廓的跟踪法是对目标边界轮廓进行跟踪处理，利用目标轮廓的全局信息获取一条封闭的曲线，不需要目标先验知识，但该方法需要人工干预进行初始化，计算非常耗时；基于模型跟踪法，首先建立目标形态模型和运动模型，再根据实际视频序列图像确定模型参数和运动参数，从而实现目标跟踪，但实际场景中要获得精确的目标真实模型非常困难。
技术实现思路
本专利技术的目的在于提出一种基于光流特征的视频目标检测与跟踪方法，其创新性在于克服传统帧差法和背景补偿法在运动背景下检测目标的空洞效应，通过局部方差非均匀采样方法避免LK光流法在稀疏纹理特征点上的漂移现象，将目标运动显著性和颜色、纹理等多特征融合，提高目标检测的成功率，实现快速、有效地持续跟踪。本专利技术的技术方案是，一种基于光流特征的视频目标检测与跟踪方法，分为两大步骤，第一步为视频目标检测：首先基于背景局部邻域方差的等间隔采样方法对输入的图像帧序列进行背景采样，计算采样后的每个像素点的光流矢量，并通过MeanSift算法估计背景运动；其次以目标的运动显著性为主、颜色显著性为辅，结合光流法和颜色显著性算法共同估计目标的整体显著性，最后通过目标显著性检测的结果设定阈值，实现目标区域与背景区域的分离。第二步为视频目标跟踪：首先选取第一步中通过目标检测得到的目标区域为正样本，背景区域为负样本；利用Haar特征和目标全局颜色特征对目标进行描述，并采用随机矩阵的方式对原有特征进行抽样压缩；通过贝叶斯准则判断它与上一帧目标的相似性，最后利用粒子滤波算法对目标进行持续跟踪。具体地，本专利技术一种基于光流特征的视频目标检测与跟踪方法，包括以下步骤：S1、视频目标检测S11、输入无人机视频序列，基于背景局部邻域方差的等间隔采样方法对输入的图像帧序列进行背景采样，通过box-filter(如5*5为局部)方法计算出每个像素点的局部邻域方差，根据背景图像的局部方差分布图设定阈值，对图像进行分区域采样，滤除部分不利于LK算法匹配的采样点，同时保留目标所在位置的采样点。设当前输入图像的宽为W，高为H，在图像区域内定义box矩形模板的宽为m，高为n，采用黑色方块代表图像区域内的像素，每个黑色方块代表一个像素，1#矩形框表示box矩形模板，2#矩形框表示输入图像宽W和box矩形模板高n形成的区域范围，3#矩形框为1*m的矩形框，3#矩形框中的灰色方块记为buff，用来存储计算过程中的中间变量；从box矩形模板左上角(x,y)为(0,0)开始，逐个像素向右滑动，到达行末时转移到下一行的开头(0,1)，以此类推；将2#矩形框内的每一列像素求和，每一列像素求和的结果放在灰色方块buff内，再对3#矩形框内的像素求和，结果即为1#矩形框即box矩形模板内的像素和，存放到预先初始化定义的数组A中，完成第一次求和运算；3#矩形框当前位置的像素和Sum[i]为向右移动之前的像素和Sum[i-1]减去3#矩形框内的第一个灰色方块buff[x-1]再加上3#矩形框右边缘的第一个灰色方块buff[x+m-1]，即通过buff更新间接地求出滑动box内的所有像素和，表达式如下：其中，i的初始值为0，同理，定义SquareSum为滑动box内的所有像素平方和，3#矩形框当前位置的像素平方和SquareSum[i]为向右移动之前的像素平方和SquareSum[i-1]减去3#矩形框内的第一个灰色方块像素平方和SquareSum[x-1]再加上3#矩形框它右边缘的第一个灰色方块像素平方和SquareSum[x+m-1]，则有：联立表达式(1)和(2)，可求得背景图像的局部邻域方差Var(x,y)的表达式如(3)式所示：Var(x,y)＝SquareSum(x,y)-[Sum(x,y)/(m*n)]2(3)通过计算得到背景图像的局部邻域方差分布图之后，通过设定方差阈值，在背景局部邻域方差大于设定的方差阈值的区域则设置较小的间隔阈值(如采样间隔为2)，即采样密度大，得到采样点多，在背景局部邻域方差小于设定的方差阈值的区域则设置较小的间隔阈值(如采样间隔为10)，即采样密度小，得到采样点少，滤除不易于LK算法匹配的采样点，同时保留目标所在位置的采样点。方差过小的区域是不利于LK算法作为匹配点的，但是为了保留目标在图像中的相对位置，因此并非完全滤除方差值过小区域，而是在方差大的区域进行多采样，因为在方差大的区域的采样点利于LK算法匹配，方差小的区域少采样目的在于保留目标在图像中的相对位置。S12、由步骤S11得到采样后的像素点集合，通过LK光流法计算集合中每个像素点的光流矢量，通过MeanShift算法估计本文档来自技高网...

【技术保护点】
一种基于光流特征的视频目标检测与跟踪方法，其特征在于，包括以下步骤：包括以下步骤：S1、视频目标检测S11、输入无人机视频序列，基于背景局部邻域方差的等间隔采样方法对输入的图像帧序列进行背景采样，通过box‑filter方法计算出每个像素点的局部邻域方差，根据背景图像的局部方差分布图设定阈值，对图像进行分区域采样，滤除部分不利于LK算法匹配的采样点，同时保留目标所在位置的采样点；S12、由步骤S11得到采样后的像素点集合，通过LK光流法计算S11采样后的像素点集合中每个像素点的光流矢量，通过Mean Shift算法估计出背景的运动矢量；S13、估计目标整体显著性，分为背景中无运动目标和背景中有运动目标两种情形，两种情形估计目标整体显著性的方法分别如下：(1)背景中无运动目标时，以背景图像运动显著性分布为整体显著性分布估计，其定义式为：

【技术特征摘要】
1.一种基于光流特征的视频目标检测与跟踪方法，其特征在于，包括以下步骤：包括以下步骤：S1、视频目标检测S11、输入无人机视频序列，基于背景局部邻域方差的等间隔采样方法对输入的图像帧序列进行背景采样，通过box-filter方法计算出每个像素点的局部邻域方差，根据背景图像的局部方差分布图设定阈值，对图像进行分区域采样，滤除部分不利于LK算法匹配的采样点，同时保留目标所在位置的采样点；S12、由步骤S11得到采样后的像素点集合，通过LK光流法计算S11采样后的像素点集合中每个像素点的光流矢量，通过MeanShift算法估计出背景的运动矢量；S13、估计目标整体显著性，分为背景中无运动目标和背景中有运动目标两种情形，两种情形估计目标整体显著性的方法分别如下：(1)背景中无运动目标时，以背景图像运动显著性分布为整体显著性分布估计，其定义式为：式中K为采样点Ci的局部邻域，Sm表示每个采样点与周围背景的运动矢量差异性的集合；(2)背景中有运动目标时，以运动显著性分布为主，颜色显著性为辅估计目标整体显著性，首先采用与(1)中相同的方法计算运动显著性Sm，同时基于颜色对比度的Center-Surround模型，通过像素点在邻域空间的特征差异度来计算颜色显著性Sc，将运动显著性Sm和颜色显著性Sc进行线性加权估计目标整体显著性；S14、由步骤S13中得到的目标整体显著性分布估计结果设定分割阈值，实现目标区域与背景区域的分离；S2、视频目标跟踪S21、将目标区域与背景区域分离之后，对目标边缘进行标注，提取目标边缘E，以E为起始位置，设置半径为r，在E+r范围内对正样本图像采样，在E-r范围外对负样本图像采样，其中正样本图像为包含目标在内的样本图像，负样本为背景图像；S22、对S21得到的正样本图像进行目标描述，利用Haar特征描述目标纹理特征，采用YUV局部颜色直方图模型描述目标颜色特征；S23采用稀疏矩阵压缩方式对S22得到的Haar特征进行抽样压缩，通过贝叶斯准则判断它与上一帧目标的相似性，利用粒子滤波算法对目标进行持续跟踪。2.根据权利要求1所述的基于光流特征的视频目标检测与跟踪方法，其特征在于，步骤S11的实现方法是：设当前输入图像的宽为W，高为H，在图像区域内定义box矩形模板的宽为m，高为n，采用黑色方块代表图像区域内的像素，每个黑色方块代表一个像素，1#矩形框表示box矩形模板，2#矩形框表示输入图像宽W和box矩形模板高n形成的区域范围，3#矩形框为1*m的矩形框，3#矩形框中的灰色方块记为buff，用来存储计算过程中的中间变量；从box矩形模板左上角(x,y)为(0,0)开始，逐个像素向右滑动，到达行末时转移到下一行的开头(0,1)，以此类推；将2#矩形框内的每一列像素求和，每一列像素求和的结果放在灰色方块buff内，再对3#矩形框内的像素求和，结果即为1#矩形框即box矩形模板内的像素和，存放到预先初始化定义的数组A中，完成第一次求和运算；3#矩形框当前位置的像素和Sum[i]为向右移动之前的像素和Sum[i-1]减去3#矩形框内的第一个灰色方块buff[x-1]再加上3#矩形框右边缘的第一个灰色方块buff[x+m-1]，即通过buff更新间接地求出滑动box内的所有像素和，表达式如下：其中，i的初始值为0，同理，定义SquareSum为滑动box内的所有像素平方和，3#矩形框当前位置的像素平方和SquareSum[i]为向右移动之前的像素平方和SquareSum[i-1]减去3#矩形框内的第一个灰色方块像素平方和SquareSum[x-1]再加上3#矩形框它右边缘的第一个灰色方块像素平方和SquareSum[x+m-1]，则有：

【专利技术属性】
技术研发人员：向北海，
申请(专利权)人：湖南优象科技有限公司，
类型：发明
国别省市：湖南,43