一种改进TLD的矿井下视频目标跟踪方法技术

本发明专利技术公开了一种改进TLD的矿井下视频目标跟踪方法，跟踪部分采用基于Mean‑Shift的跟踪算法，减小计算量同时做到煤矿井下环境的目标实时跟踪；检测部分首先用Kalman滤波来预估当前帧目标的中心位置，进行目标位置的区域预估，减少扫描窗口的数量，减小计算冗余；然后在预估区域使用动态自适应更新阈值的方差分类器进行检测，提高检测效率。本发明专利技术针对煤矿井下跟踪需求的特殊性，增强了算法在低照度情况下的目标跟踪准确率，有效应对目标外观剧烈变化和目标遮挡等复杂因素，增强了原算法的鲁棒性以适应实际需求。

【技术实现步骤摘要】
一种改进TLD的矿井下视频目标跟踪方法
本专利技术涉及视频目标跟踪领域，尤其涉及一种改进TLD的矿井下视频目标跟踪方法。
技术介绍
当今时代，人们对于多媒体信息的需求日益增长，发展出了很多视频信息处理技术，其中目标跟踪技术是计算机视觉领域中的一个热点问题，它涉及目标的活动分析，分类和识别，在智能监控，视频会议，人机交互，交通控制，导航和医疗等诸多领域得到了广泛的应用。将目标跟踪技术应用到煤矿井下的监控视频中，是煤矿井下视频监控的未来趋势，对实现煤矿的实时监控、自动化生产、调度指挥及危险救援等方面都具有着重要意义。然而煤矿井下环境比较特殊，现有的跟踪方法很难直接应用到矿井环境中。首先煤矿井下是一个低照度环境，光照分布不均导致视野模糊，很难分辨不同物体；其次当矿工移动时，安全帽上的矿灯将会造成跟踪目标外观的剧烈变化，严重影响目标跟踪的性能；且不同矿工之间外观特征非常相似，相互遮挡易造成目标丢失。因此，如何根据煤矿井下目标跟踪的实际要求，设计一种能在低照度的环境下有效跟踪目标，同时抵抗目标外观的剧烈变化，并且当跟踪目标与相似目标之间相互遮挡甚至消失在视野中后还能够重新捕捉到目标的跟踪算法，是矿井下视频跟踪的一个重要课题。TLD目标跟踪算法是一种高效的单目标长时间跟踪方法，该算法的优点是可以用较少的先验信息连续长时间地跟踪单个运动目标，在目标被遮挡或消失以及目标外观变化的情况下也具有良好的性能，保证长时间连续跟踪过程中的准确性和鲁棒性。此外，TLD算法具有稳定性强的特点，也可以用来处理目标遮挡或目标消失的问题。TLD算法的框架如图1所示。相应的处理过程如下：(1)利用第一帧信息来设置初始窗口位置和跟踪目标的大小；(2)跟踪部分用于根据前一帧中相同跟踪目标的位置信息，预测当前帧中跟踪目标的位置；(3)采用检测部分全局扫描当前帧，确定跟踪目标的位置；(4)学习部分用于判断是否需要更新跟踪部分和检测部分；(5)综合跟踪器和检测器的结果，得到最终的目标位置。TLD目标跟踪算法是一种可实现长期目标跟踪的算法，特别是在处理目标形变、遮挡以及目标消失又重现等复杂场景时，其性能优于其他算法，但是该算法复杂度高，所以实时性较差。1.在目标跟踪过程中，TLD算法采用的是光流法跟踪，该算法运算复杂，计算量大，且对光照敏感，很难用于煤矿井下视频的实时跟踪处理；2.在目标检测过程中，TLD算法通过全局扫描的方法来检测运动目标，由于在视频连续两帧之间目标的运动范围不会很大，因此只有目标附近一定区域需要扫描，全局扫描的方式造成计算资源浪费；3.在检测过程的第一阶段，方差分类器设置了固定的滤波阈值，容易导致计算错误和巨大的计算量，直接影响后续滤波器的判断，从而造成跟踪精确度低。
技术实现思路
本专利技术所要解决的技术问题是针对
技术介绍
中所涉及到的缺陷，提供一种改进TLD的矿井下视频目标跟踪方法。本专利技术为解决上述技术问题采用以下技术方案：一种改进TLD的矿井下视频目标跟踪方法，包含以下步骤：步骤1)，根据第一帧图像中标定的目标框，得到目标框的位置信息；步骤2)，将目标框的位置信息送入跟踪器进行跟踪：步骤2.1)，将颜色特征空间按预设的颜色值间隔分为m个特征值，计算每一个特征值在初始帧目标区域的所有像素中的概率，形成目标模型的描述：令x0点为目标框的中心，目标框内像素位置记为xu，u＝1,…,n，n为目标框内的总像素个数；概率分布且由高斯核函数进行概率密度估计：其中，k(x)采用高斯核函数，h是高斯核函数的带宽，b(xu)是像素在颜色直方图中的索引函数、表示xu处像素所属的直方图区间，w是颜色直方图索引，δ是克罗内克函数、作用是判断xu处与w处的特征值是否相等；c是归一化常数，步骤2.2)，建立当前帧中的候选模型pw，y为前一帧的目标模型的中心位置；令候选区域像素位置记为xv，v＝1,…,nh，nh为候选区域内的总像素数，则：其中，b(xv)表示xv处像素所属的直方图区间，归一化常数步骤2.3)，使用相似度函数来度量初始帧目标模型和当前帧候选模型之间的相似度，以找到与参考目标模型相似度最大的候选模型，qw和pw之间的相似度的具体公式如下：步骤2.4)，从前一帧的目标模型的中心位置y开始，搜索使相似度函数最大的候选区域，得到目标模型由前一帧的位置向当前帧位置移动的大小和方向，进而得到当前帧中目标模型的最终收敛位置，即当前帧中目标模型的位置：其中，y1为当前帧中目标模型的中心位置，g(x)＝-k′(x)；步骤2.5)，将当前帧中目标模型的位置作为跟踪器的跟踪结果输出；步骤3)，将目标框的位置信息送入检测器进行检测：步骤3.1)，按照预设的扫描比例、预设的水平移动步长阈值、预设垂直移动步长阈值、预设的最小扫描边界框阈值、通过滑动窗口的方法对当前帧图像进行多尺度扫描，产生若干扫描框；步骤3.2)，根据目标框的位置信息，使用Kalman滤波器预估得到当前帧目标模型的中心位置，以此为中心，将目标框的长宽均扩大Q倍，作为预估框，Q为大于1的数；步骤3.3)，判断步骤3.1)中得到的多个扫描框是否和所述预估框有交集，丢弃和预估框无交集的扫描框，得到若干个和预估框有交集的扫描框；步骤3.4)，将所述若干个和预估框有交集的扫描框分别依次送入方差分类器、集成分类器、最近邻分类器进行筛选，其中，所述方差分类器的过滤阈值Dt为正样本库中最近更新的样本方差、其在正样本库中为第t个样本方差，Ds为正样本库中第s个样本的方差；步骤3.5)，将方差分类器、集成分类器、最近邻分类器筛选过后的结果作为检测器的结果输出；步骤4)，跟踪器和检测器的结果送入学习模块，采用P-N学习评估检测器结果、识别检测器产生的错误并对检测器进行更新；步骤5)，综合跟踪器和检测器的结果，得到最终跟踪结果：步骤5.1)，若跟踪器和检测器都没有输出结果则认为目标消失，此时不输出任何结果，在下一帧中由检测器重新检测，成功检测到目标后，将检测器得到的目标位置作为跟踪器的初始值，重复上述步骤；步骤5.2)，若跟踪器跟踪成功而检测器检测失败，则将跟踪器结果作为最后的输出，重复上述步骤；步骤5.3)，若跟踪器跟踪失败而检测器检测成功，则将检测器结果作为最后的输出，且用检测结果重新初始化跟踪器，重复上述步骤；步骤5.4)，若跟踪器和检测器都有输出结果，则先将检测器的结果进行聚类，再用聚类后的检测器结果和跟踪器结果加权平均得到最终结果，重复上述步骤。作为本专利技术一种改进TLD的矿井下视频目标跟踪方法进一步的优化方案，所述步骤3.1)中，通过滑动窗口的方法对当前帧图像进行多尺度扫描,产生若干扫描框，扫描比例为1.2、扫描时水平和垂直的移动步长分别是视频帧宽高的10％，最小扫描边界框大小为15个像素值。作为本专利技术一种改进TLD的矿井下视频目标跟踪方法进一步的优化方案，所述步骤3.2)中，Q＝1.2。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：本专利技术针对煤矿井下跟踪需求的特殊性，增强了算法在低照度情况下的目标跟踪准确率，有效应对目标外观剧烈变化和目标遮挡等复杂因素，增强了原算法的鲁棒性以适应实际需求。附图说明图1是传统TLD目标跟踪算法的原理示意图；图2是本专利技术中基于Kalman滤波的矿井下图像位置区域预估的示意图本文档来自技高网...

【技术保护点】
1.一种改进TLD的矿井下视频目标跟踪方法，其特征在于，包含以下步骤：步骤1)，根据第一帧图像中标定的目标框，得到目标框的位置信息；步骤2)，将目标框的位置信息送入跟踪器进行跟踪：步骤2.1)，将颜色特征空间按预设的颜色值间隔分为m个特征值，计算每一个特征值在初始帧目标区域的所有像素中的概率，形成目标模型的描述：令x0点为目标框的中心，目标框内像素位置记为xu，u＝1,…,n，n为目标框内的总像素个数；概率分布

【技术特征摘要】
1.一种改进TLD的矿井下视频目标跟踪方法，其特征在于，包含以下步骤：步骤1)，根据第一帧图像中标定的目标框，得到目标框的位置信息；步骤2)，将目标框的位置信息送入跟踪器进行跟踪：步骤2.1)，将颜色特征空间按预设的颜色值间隔分为m个特征值，计算每一个特征值在初始帧目标区域的所有像素中的概率，形成目标模型的描述：令x0点为目标框的中心，目标框内像素位置记为xu，u＝1,…,n，n为目标框内的总像素个数；概率分布w＝1,…,m，且由高斯核函数进行概率密度估计：其中，k(x)采用高斯核函数，h是高斯核函数的带宽，b(xu)是像素在颜色直方图中的索引函数、表示xu处像素所属的直方图区间，w是颜色直方图索引，δ是克罗内克函数、作用是判断xu处与w处的特征值是否相等；c是归一化常数，步骤2.2)，建立当前帧中的候选模型pw，y为前一帧的目标模型的中心位置；令候选区域像素位置记为xv，v＝1,…,nh，nh为候选区域内的总像素数，则：其中，b(xv)表示xv处像素所属的直方图区间，归一化常数步骤2.3)，使用相似度函数来度量初始帧目标模型和当前帧候选模型之间的相似度，以找到与参考目标模型相似度最大的候选模型，qw和pw之间的相似度的具体公式如下：步骤2.4)，从前一帧的目标模型的中心位置y开始，搜索使相似度函数最大的候选区域，得到目标模型由前一帧的位置向当前帧位置移动的大小和方向，进而得到当前帧中目标模型的最终收敛位置，即当前帧中目标模型的位置：其中，y1为当前帧中目标模型的中心位置，g(x)＝-k′(x)；步骤2.5)，将当前帧中目标模型的位置作为跟踪器的跟踪结果输出；步骤3)，将目标框的位置信息送入检测器进行检测：步骤3.1)，按照预设的扫描比例、预设的水平移动步长阈值、预设垂直移动步长阈值、预设的最小扫描边界框阈值、通过滑动窗口的方法对当前帧图像进行多尺度扫描，产生若干扫描框；步骤3.2)，根据目标框的位置信息，使用Ka...

【专利技术属性】
技术研发人员：孙彦景，张丽颖，云霄，程玉虎，芦楠楠，陈岩，董锴文，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32