一种复杂背景及遮挡条件下的运动目标跟踪方法技术

本发明专利技术公开了一种多特征结合Kalman滤波的目标跟踪方法，用于解决复杂背景环境以及遮挡情况下的目标跟踪。提出基于颜色、纹理及目标运动信息的综合特征用于改进CamShift算法，并结合Kalman滤波器对目标运动状态进行预测，提高了复杂背景下运动目标的跟踪稳定性和跟踪精度。颜色信息易受到光照及背景干扰色等因素干扰，引入目标纹理特征改善采用单一颜色信息时的缺陷，并继续加入目标运动信息，进一步排除背景中的干扰。在目标发生遮挡时，通过目标遮挡前的先验信息进行最小二乘拟合及目标运动轨迹外推，预测目标运动位置信息，有利于遮挡结束时对运动目标的重新捕获。

【技术实现步骤摘要】

本专利技术涉及一种自适应目标跟踪方法，具体涉及。
技术介绍
运动目标的跟踪是在视频图像的每一幅图像中确定出感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。利用光学传感器在复杂背景下探测目标，对于民用和军事领域均具有重要意义，它所涉及的传感器设计、信息处理和系统仿真方法一直是科研工作者和工程技术人员研究的热点。在地面载台(如移动式、固定式)对周围环境探测的过程中，以及空中载台(如飞机、飞艇、卫星等)对地探测的过程中，常通过光学探测系统获得目标与背景的图像以进行目标检测跟踪与识别或地形环境信息获取与感知。可见光摄像技术随着电荷耦合器件(CXD)、CMOS成像器件和数字图像处理技术的发展，已经普及应用于各个领域，带有智能化图像处理功能的高清晰度可见光摄像视频报警系统能够自动识别不同的物体，发现监控画面中的异常情况，并能够发出警报和提供有用信息，可应用在反恐、突发事件处置、航空监视、交通管理、客户行为分析等多种场合。20世纪中后期，可见光摄像机由黑白摄像机发展到彩色摄像机。近20年来，在安防领域使用的视频监控系统中已大量使用彩色摄像机，借助CCD的优点和目前达到的优良性能，彩色CCD摄像机成为视频监控系统中的主流。除军事应用外，基于可见光摄像的视频监控技术正在向高清网络化、图像数字化、监控智能化的方向发展，新一代带智能化图像信息处理功能的CCD监视报警系统具有多方面显著优势，包括:全天候24小时可靠自动监控；提高报警精确度，降低误报和漏报现象，减少无用数据量；快速运行图像处理算法，提高识别响应速度；有效利用和扩展视频资源的用途。传统的Mean Shift和CamShift算法在简单背景下能够取得很好的效果并且具有很好的实时性，从而在对运动目标的视频跟踪领域得到了广泛的应用。Mean Shift跟踪算法是一种以目标区域像素值的概率分布为特征的跟踪算法，因为寻优收敛速度快，该算法具有很好的实时性，并且具有一定的鲁棒性。在Mean Shift算法中，核窗口起着非常重要的作用。通常核窗口由初始跟踪窗口决定，并且大小固定不变。但是在对运动目标的跟踪过程中，如果目标尺度发生变化，尤其是目标尺度变大超过核窗口时，很容易导致对于目标的跟踪失效。根据Mean Shift算法的这一缺陷，G.Bradski在Mean Shift算法的基础上提出了 CamShift算法,这是 一种Mean Shift算法的改进算法。它与Mean Shift算法的最大不同是在跟踪过程中可以自适应调整核窗口大小，以达到适应目标尺度的变化。但是无论是Mean Shift算法还是CamShift算法,它们的本质都是使用目标的颜色概率分布 目息，即直方图作为跟踪时的特征，而直方图是一种较弱的特征，这就导致在复杂背景或背景中存在大面积干扰色时很容易导致跟踪失效。且Mean Shift和CamShift算法对目标运动轨迹不作任何预测，在目标快速机动或发生遮挡丢失时，经常无法继续进行有效的跟踪。综合而言，目前的视频跟踪技术对于运动目标跟踪仍存在一些困难，主要来源于以下方面光照强度和天气变化对目标跟踪的影响；目标外观变化或发生旋转、放缩、位移等各种复杂的变化；目标快速运动时跟踪的稳定性问题；运动目标的遮挡问题；复杂的背景干扰等因素的影响；运动目标的正确检测和分割问题；图像的数据融合问题，比如多摄像头跟踪；跟踪的实时性问题等。虽然最近十几年视频目标跟踪问题获得了广泛的研究并取得了长足的进步，但是由于现实环境中的许多情况都会影响视频图像中对目标的可靠观测，因此设计出能够在各种复杂环境下准确、快速、稳定地跟踪视频目标的方法，仍然是一项挑战性的任务和急需解决的课题，尤其是可以应用于复杂背景下以及遮挡情况下的运动目标跟踪方法。因此，本领域的技术人员致力于开发。
技术实现思路
为了实现复杂背景及遮挡条件下的运动目标跟踪，本专利技术提出一种结合了 Kalman滤波器的复杂背景及遮挡条件下运动目标跟踪方法。本专利技术采用颜色纹理二维直方图作为目标的特征，可以较好的抑制光照的影响；在目标反向投影图的基础上结合背景中的运动模板信息，实现一种改进的反向投影图，可以有效地去除背景中的干扰；采用Kalman滤波器对目标的运动进行预测，增加跟踪方法的鲁棒性，并提高了目标快速运动时的跟踪准确性；在目标发生遮挡丢失时，用最小二乘拟合目标运动轨迹并按目标先验速度进行外推的方法对目标运动状态进行预测，在目标重新出现后探测到目标并继续进行跟踪，有效解决目标遮挡问题。为实现上述目的，本专利技术利用颜色、纹理、运动信息以及结合Kalman滤波构建Camshift,从而实现复杂背景及遮挡条件下的运动目标跟踪方法。基于Visual Studio2008及0penCV2. O实现了方法的仿真体系。本专利技术上述方法包括以下步骤(I)确定所述目标及所述视频图像的初始帧；(2)获得所述目标的颜色及纹理信息二维直方图的反向投影，所述反向投影为计算所述目标所在区域的直方图分布情况在整幅图像中的匹配程度，与目标特征越相似的区域权重越大，然后将每个点的灰度值缩放至0-255的范围得到一幅新的灰度图像，即为反向投影图；所述颜色是所述目标的图像色度信息，利用所述颜色的直方图，在所述视频图像中得到反向投影图来表示所述目标的所述颜色；所述颜色信息易受到光照条件影响，本方法在光照条件变化时结合纹理信息；所述纹理是所述目标的图像通过计算灰度共生矩阵得到的灰度图像，所述纹理采用所述灰度共生矩阵中的纹理特征提取，利用所述灰度图像中所述目标的所述纹理的直方图，在所述视频图像中得到反向投影图，来表示所述帧图像的所述纹理；(3)所述目标的颜色纹理二维直方图结合所述目标的运动模板信息，得到扩展的反向投影图，所述运动模板信息是所述视频图像与背景模型图像作差值得到的前景图像；(4)对所述目标进行遮挡判定，若判定为所述目标未被遮挡，采用Kalman滤波器对所述目标在下一帧的位置进行预测，所述预测的结果作为下一帧CamShift算法迭代的起点，采用CamShift算法迭代下一帧；若判定为所述目标被遮挡，所述Kalman滤波器停止工作，采用基于最小二乘估计的方法进行轨迹预测，同时对每一预测位置采用CamShift算法搜索；(5)判断跟踪是否结束，若判定为跟踪未结束，获取视频跟踪的当前帧，并转至步骤(2);若判定为跟踪结束，则方法停止。其中，所述颜色采用HSV色彩模型将色度、饱和度、亮度区分开来，其中H分量表示色度，S分量表示饱和，V分量表示亮度。更进一步地，所述颜色采用H分量的直方图及其反向投影图从而对所述目标的所述颜色特征描述。其中，所述纹理采用Gabor滤波器滤波以提取。更进一步地，所述纹理的提取采用的所述灰度共生矩阵中的纹理特征是由每个像素8邻域的灰度差值产生的，对所述灰度图像所述每个像素分别取45°、135°、90°、0°方向上的邻域灰度值差，即:Gl (x, y) =G (x+1, y+1) -G (χ-l, y-1)(I)G2 (χ, y) =G (χ-l, y+1) -G (x+1, y-1)(2)G3 (x, y) =G (x, y+1) -G (x, y-1)(3)G4 (x, y) =G (x+1, y) -G (χ-l, y)(4)其中(本文档来自技高网...

【技术保护点】
一种复杂背景及遮挡条件下的运动的目标的跟踪方法，用于跟踪视频图像中的运动的目标，其特征在于，包括步骤：（1）确定所述目标及所述视频图像的初始帧；（2）获得所述目标的颜色及纹理信息二维直方图的反向投影，所述颜色是所述目标的图像色度信息，利用所述颜色的直方图，在所述视频图像中得到反向投影图来表示所述目标的所述颜色；所述纹理是所述目标的图像通过计算灰度共生矩阵得到的灰度图像，所述纹理采用所述灰度共生矩阵中的纹理特征提取，利用所述灰度图像中所述目标的所述纹理的直方图，在所述视频图像中得到反向投影图，来表示所述帧图像的所述纹理；（3）所述目标的颜色纹理二维直方图结合所述目标的运动模板信息，得到扩展的反向投影图，所述运动模板信息是所述视频图像与背景模型图像作差值得到的前景图像；（4）对所述目标进行遮挡判定，若判定为所述目标未被遮挡，采用Kalman滤波器对所述目标在下一帧的位置进行预测，所述预测的结果作为下一帧CamShift算法迭代的起点，采用CamShift算法迭代下一帧；若判定为所述目标被遮挡，所述Kalman滤波器停止工作，采用基于最小二乘估计的方法进行轨迹预测，同时对每一预测位置采用CamShift算法搜索；（5）判断跟踪是否结束，若判定为跟踪未结束，获取视频跟踪的当前帧，并转至步骤（2）；若判定为跟踪结束，则方法停止。...

【技术特征摘要】
1.一种复杂背景及遮挡条件下的运动的目标的跟踪方法，用于跟踪视频图像中的运动的目标，其特征在于，包括步骤: (1)确定所述目标及所述视频图像的初始帧； (2)获得所述目标的颜色及纹理信息二维直方图的反向投影，所述颜色是所述目标的图像色度信息，利用所述颜色的直方图，在所述视频图像中得到反向投影图来表示所述目标的所述颜色；所述纹理是所述目标的图像通过计算灰度共生矩阵得到的灰度图像，所述纹理采用所述灰度共生矩阵中的纹理特征提取，利用所述灰度图像中所述目标的所述纹理的直方图，在所述视频图像中得到反向投影图，来表示所述帧图像的所述纹理； (3)所述目标的颜色纹理二维直方图结合所述目标的运动模板信息，得到扩展的反向投影图，所述运动模板信息是所述视频图像与背景模型图像作差值得到的前景图像； (4)对所述目标进行遮挡判定，若判定为所述目标未被遮挡，采用Kalman滤波器对所述目标在下一帧的位置进行预测，所述预测的结果作为下一帧CamShift算法迭代的起点，采用CamShift算法迭代下一巾贞；若判定为所述目标被遮挡，所述Kalman滤波器停止工作，采用基于最小二乘估计的方法进行轨迹预测，同时对每一预测位置采用CamShift算法搜索； (5)判断跟踪是否结束，若判定为跟踪未结束，获取视频跟踪的当前帧，并转至步骤(2);若判定为跟踪结束，则方法停止。2.如权利要求1所述的一种复杂背景及遮挡条件下的运动目标跟踪方法，其特征在于，步骤(2)中所述颜色采用HSV色彩模型将所述颜色的色度、饱和度、亮度区分开来，其中H分量表示色度，S分量表示饱和...

【专利技术属性】
技术研发人员：肖刚，许晓航，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：