一种适用于深度图像的人体目标跟踪方法技术

本发明专利技术提出了一种适用于深度图像的人体目标跟踪方法。本发明专利技术首先利用人体目标深度值，基于阈值判断设计一种目标模板更新方法。其次，通过计算Kalman滤波器的预测位置与当前跟踪框的质心位置距离，判断跟踪是否受障碍物干扰而使跟踪框跳变，设计一种障碍物屏蔽方法，消除障碍物区域对跟踪的干扰。然后通过人体目标检测的方法实现再跟踪。最后基于阈值判断，设计屏蔽障碍物解除的机制，使深度相机改变视角后，解除视角改变前的障碍物区域屏蔽。本发明专利技术使得深度图像中人体目标的跟踪成功率有明显的提高。

Human body target tracking method suitable for deep image

The invention provides a human body target tracking method suitable for deep image. Firstly, a target template updating method is designed based on the threshold value of the human target and based on the threshold value. Secondly, by predicting the position calculation of Kalman filter and the centroid position from the current tracking frame, judge whether by tracking obstacles and make the tracking box jump, design a barrier shielding method to eliminate the interference of obstacle region tracking. Then, the target tracking is realized by the method of human target detection. Finally, based on the threshold judgment, the mechanism of occlusion relief is designed to enable the depth camera to change the angle of view to remove the barrier area before the change of the view angle. The invention improves the tracking success rate of the human target in the depth image obviously.

【技术实现步骤摘要】
一种适用于深度图像的人体目标跟踪方法
本专利技术属于计算机视觉领域，涉及一种针对深度图像的人体目标跟踪的方法。
技术介绍
在智能机器人、智能监控和无人车等的现代人工智能领域，人体目标检测与跟踪是一个关键的技术环节，对智能设备的控制决策起着至关重要的作用。因此人体目标检测与跟踪一直是计算机视觉领域的研究热点。以微软Kinect为代表的深度信息传感器，能以较高分辨率和帧率获取深度图像序列，深度图像有着能提供距离信息、抗光照干扰能力强等的优势，在可移动的智能机器人控制中有着难以替代的作用。卡尔曼滤波器(KalmanFilter)是一种基于被估计信息数学模型的递推滤波算法。根据对系统建立的状态模型与观测模型，Kalman滤波器可以由系统前一时刻的状态预测和估计下一时刻的状态，在目标跟踪中能起到目标位置预测的作用。该算法可靠性较高，被广泛应用于飞行器制导、无人设备控制等领域。均值飘移(MeanShift)算法是一种基于目标颜色分布信息的半自动图像目标跟踪算法。在没有严重背景干扰的情况下，该算法能较稳定的跟踪图像序列中的运动人体。由于大多数实际情况中，人体目标跟踪过程很可能存在诸如大面积背景干扰、大面积遮挡等的问题。因此多将Kalman滤波器与MeanShift算法相结合，来解决这些问题。但是由于深度图像的特殊性，该组合方法应用到深度图像时存在以下问题：1)当人体目标靠近障碍物时，跟踪框会跳变至障碍物区域造成跟踪失败，且传统的结合Kalman滤波器的MeanShift方法无法实现再跟踪。2)当人体目标较跟踪初始时刻远离深度相机，深度值改变后，在人体目标附近像素区域出现较靠近深度相机的障碍物时，跟踪框会跳变至障碍物区域，造成跟踪过失败，且传统的结合Kalman滤波器的MeanShift方法无法实现再跟踪。
技术实现思路
为了应对上面提到的问题,本专利技术在传统Kalman-MeanShift组合算法基础上提出一种用于深度图像的人体目标跟踪方法。为了实现以上目的，本专利技术方法主要包括以下步骤：(1)首先针对待跟踪目标，手动初始化MeanShift跟踪区域，得到初始跟踪区域质心；(2)对跟踪框质心运动轨迹建立速度-位移-加速度运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；(3)对每一帧的跟踪，将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差大于设定阈值D1，更新目标直方图模板为当前跟踪区域的直方图；(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离，若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置大于设定阈值D2，则认为跟踪目标正在经过障碍物，且该障碍物被Meanshift误判断为跟踪目标并发生跳变；(5)将误跟踪框设定为障碍物位置区域，生成一块大小与误跟踪框大小相同、像素值全为1的掩膜，将掩膜覆盖到障碍物区域，障碍物被屏蔽；(6)启动人体目标检测机制，用事先训练好的Adaboost分类器重新检测出人体目标，并将检测得到的矩形框作为Meanshift新的跟踪框；(7)计算当前跟踪区域质心与屏蔽区域质心距离，若该距离大于设定阈值D3，则认为人体已经不再靠近障碍物区域，解除屏蔽，消除掩膜。本专利技术具有如下有益效果：1、当人体目标与深度相机的距离改变后，跟踪区域的颜色分布直方图与初始时刻的模板匹配较差，在适当更新模板后，各帧的跟踪区域与模板匹配度好，降低跟踪被其他物体干扰的可能性。2、人体目标靠近障碍物时，跟踪框会跳变至障碍物区域，增加的障碍物屏蔽机制能有效抑制再跟踪后的各帧里，跟踪框继续跳变。3、对于靠近障碍物造成的跟踪框跳变，人体目标检测机制能有效、准确的实现再跟踪。4、当深度相机视角改变时，原本屏蔽的区域已经不是障碍物区域，此时响应的障碍物屏蔽解除机制能避免屏蔽区域对后续跟踪的影响。附图说明图1改进Kalman-MeanShift算法流程图。具体实施方式下面结合附图描述本专利技术改进Kalman-MeanShift算法的深度图像人体目标跟踪方法。图1为改进算法流程图，主要包括以下几个步骤：(1)首先针对待跟踪目标，初始化MeanShift跟踪区域，得到初始跟踪区域质心；(2)对跟踪框质心运动轨迹建立相关运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；(3)将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差较大则表明当前的目标区域深度值较初始时刻变化较大，此时更新目标直方图模板为当前跟踪区域的直方图；(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离，若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置距离过大，则认为跟踪目标正在经过障碍物，且该障碍物被Meanshift误判断为跟踪目标并发生跳变；(5)将误跟踪框设定为障碍物位置区域，生成一块大小与误跟踪框大小相同、像素值全为1的掩膜，将掩膜覆盖到障碍物区域，，障碍物被屏蔽；(6)启动人体目标检测机制，用事先训练好的Adaboost分类器重新检测出人体目标，并将检测得到的矩形框作为Meanshift新的跟踪框；(7)计算当前跟踪区域质心与屏蔽区域质心距离，若该距离较大，则认为人体已经不再靠近障碍物区域，解除屏蔽，消除掩膜。下面逐一对各步骤进行详细说明。步骤一，模板更新(一)基于人体目标深度值的模板更新方法MeanShift是一种基于模板匹配思想的跟踪算法。跟踪初始化后，初始帧的目标区域颜色分布直方图即为跟踪过程中的模板。在深度图像中，由于人体运动，人体目标区域的深度值会发生变化，因此初始帧的目标模板在深度图像中不能作为整个跟踪过程的模板，模板更新方法旨在让人体目标远离或者靠近深度相机时，都有相应的模板用来进行准确跟踪，其实现思想即设定阈值，实时比较当前帧的跟踪区域深度与模板深度，若二者相差大于阈值，就更新当前跟踪区域为新的模板，具体过程如下：1)记录初始帧跟踪模板区域质心位置的深度值Pini；2)在每一帧的跟踪过程中，计算当前跟踪区域质心位置深度值Pcur与模板区域质心位置深度值Pini之差；3)设定深度差阈值D1，若在某一帧中，当前跟踪区域质心位置深度值与模板区域质心深度值差值过大，即当|Pini-Pcur|＞D1(1)成立，则更新目标模板，用当前跟踪区域颜色直方图作为新的模板同时重置Pini的值为新的模板区域质心位置深度值。步骤二，障碍物屏蔽(一)障碍物干扰判断在跟踪开始之前，建立线性的运动模型，用于跟踪过程中Kalman滤波器对目标质心位置的预测。跟踪过程中，可以利用Kalman滤波器预测位置与当前跟踪区域的质心位置的距离作为障碍物是否干扰跟踪的判断。一般情形下，相邻帧间人体运动的位置变化比较小，并且Kalman滤波器的预测位置与MeanShift跟踪质心比较接近，但当目标靠近障碍物，跟踪框质心会瞬间偏离，而Kalman滤波器预测位置在两帧间不会出现大幅移动，因此如果在某一帧中，Kalman滤波器预测位置y1与当前跟踪框质心位置y2过大，即当Dis(y1,y2)＞D2(2)成立，则认为人体目标正在受障碍物干扰且已经发生跳变，此时认定跳变后的区域为障碍物区域。本文档来自技高网...

【技术保护点】
一种适用于深度图像的人体目标跟踪方法,其特征在于在深度图像中能避免传统Meanshift‑Kalman跟踪方法在跟踪过程中可能导致的跟踪框跳变现象，该方法具体包括以下步骤：(1)首先针对待跟踪目标，手动初始化MeanShift跟踪区域，得到初始跟踪区域质心；(2)对跟踪框质心运动轨迹建立速度‑位移‑加速度运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；(3)对每一帧的跟踪，将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差大于设定阈值D1，更新目标直方图模板为当前跟踪区域的直方图；(4)计算每一帧Meanshift跟踪区域质心位置与Kalman滤波器预测质心位置的距离，若当前跟踪区域质心位置与Kalman滤波器预测到的质心位置大于设定阈值D2，则认为跟踪目标正在经过障碍物，且该障碍物被Meanshift误判断为跟踪目标并发生跳变；(5)将误跟踪框设定为障碍物位置区域，生成一块大小与误跟踪框大小相同、像素值全为1的掩膜，将掩膜覆盖到障碍物区域，障碍物被屏蔽；(6)启动人体目标检测机制，用事先训练好的Adaboost分类器重新检测出人体目标，并将检测得到的矩形框作为Meanshift新的跟踪框；(7)计算当前跟踪区域质心与屏蔽区域质心距离，若该距离大于设定阈值D3，则认为人体已经不再靠近障碍物区域，解除屏蔽，消除掩膜。...

【技术特征摘要】
1.一种适用于深度图像的人体目标跟踪方法,其特征在于在深度图像中能避免传统Meanshift-Kalman跟踪方法在跟踪过程中可能导致的跟踪框跳变现象，该方法具体包括以下步骤：(1)首先针对待跟踪目标，手动初始化MeanShift跟踪区域，得到初始跟踪区域质心；(2)对跟踪框质心运动轨迹建立速度-位移-加速度运动模型，从而用Kalman滤波器预测目标在每一帧中的大致位置；(3)对每一帧的跟踪，将当前MeanShift跟踪区域质心位置的像素值与初始跟踪区域质心位置像素值相比较，若二者相差大于设定阈值D1，更新目标直方图模板为当前跟踪区域的直方图；(4)计算每一帧Meanshift跟踪区域质心位...

【专利技术属性】
技术研发人员：孟明，张松，王子健，马玉良，高云园，罗志增，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33