一种结合可见光和红外图像的多模态目标跟踪方法技术

本发明专利技术公开一种结合可见光和红外图像的多模态目标跟踪方法，步骤如下：分别获取可见光图像和红外图像；在任一模态下标定目标矩形框；两种模态下分别初始化目标模型；使用STRUCK算法分别跟踪T帧，在跟踪过程中判断是否要更新目标模型；跟踪T帧后，两种模态下分别往回跟踪T帧；分别计算两种模态下前向后向跟踪的误差；比较在这T帧两种模态下正向反向跟踪结果，选择可信度较高的模态作为这T帧的跟踪结果；这T帧下可信度比较小的模态位置更新为另一模态下的位置，并重新初始化目标模型；判断是否最后帧决定继续跟踪还是结束跟踪。本发明专利技术能在计算机上实现对视频的目标近乎实时跟踪，跟踪性能较普通方法也有很大的提高。

【技术实现步骤摘要】

本专利技术涉及计算机
，特别是一种结合可见光和红外图像的多模态目标跟踪方法。本专利技术在现有的STRUCK算法上拓展创新为多模态跟踪算法，特别地，STRUCK算法可以替换成其余任何单目标跟踪方法。
技术介绍
目标跟踪是计算机视觉一个非常重要的研究领域。目标跟踪在工业界有着广泛的应用领域如安防监控、自动驾驶、行为分析等。目前，很多目标跟踪的方法都是基于单种模态(可见光，红外等)。基于可见光图像的跟踪方法往往因环境光照变化、目标形变、遮挡等情况下失效；而基于红外模态的方法因相似性目标的干扰不能得到一个很好的外观模型，当两个相似的目标靠近时，这种方法显得无能为力。所以，目前存在很多同时利用两种模态信息的方法，它们大多仅是把两种信息简单地融合相加，这些方法在一些场景下跟踪性能会有提高，但是，当某个模态存在噪声时会对整体造成干扰，使得跟踪不可靠。Sam Hare等在文献“Struck:Structured Output Tracking with Kernels”(IEEE International Conference on Computer Vision,ICCV 2011)提出一种单目标跟踪的方法(下简称STRUCK)，该方法基于结构化的核方法支持向量机，通过学习目标和背景的判别模型分类器，直接输出目标的位置。STRUCK算法在单目标跟踪上具有较高的跟踪性能，在外观变化、遮挡等情况下具有比较好的鲁棒性。Dae-Youn Lee等在文献“Multihypothesis Trajectory Analysis for Robust Visual Tracking”(IEEE Conference on Computer Vision and Pattern Recognition，CVPR2015)中在STRUCK的基础上提出一种多路径猜想的目标跟踪方法，分别在Haar特征、颜色直方图特征、梯度直方图特征下跟踪，选择比较好的特征作为跟踪结果。但是，直接使用这些方法在多模态跟踪却不能得到好的性能。本专利技术的目的在于获得更好的跟踪性能，克服单模态目标跟踪信息少和多模态跟踪下直接融合特征造成干扰等问题，提出一种结合可见光和红外图像的多模态目标跟踪方法。一种结合可见光和红外图像的多模态目标跟踪方法，步骤如下：分别获取可见光图像和红外图像；在任一模态下标定目标矩形框；两种模态下分别初始化目标模型；使用STRUCK算法分别跟踪T帧，在跟踪过程中判断是否要更新目标模型；跟踪T帧后，两种模态下分别往回跟踪T帧；分别计算两种模态下前向后向跟踪的误差；比较在这T帧两种模态下正向反向跟踪结果，选择可信度较高的模态作为这T帧的跟踪结果；这T帧下可信度比较小的模态位置更新为另一模态下的位置，并重新初始化目标模型；判断是否最后帧决定继续跟踪还是结束跟踪。本专利技术能在计算机上实现对视频的目标近乎实时跟踪，跟踪性能较普通方法也有很大的提高，解决了仅依靠单模态跟踪下信息较少和融合多模态信息造成干扰的缺点。进一步的，上述多模态目标跟踪方法具体包括以下步骤：(1)读入图像：分别读入可见光和红外图像，将其转换成单通道图像后计算积分图，方便之后计算haar特征使用。(2)在任一图像上手动框选目标框，框选后算法分别在两种模态下通过粒子滤波采样正负样本(与目标框重合率大于0.5的是正样本，重合率小于0.5的为负样本)，在目标跟踪评测中一般认为跟踪矩形框和真实目标矩形框重合率大于0.5为跟踪成功，完成分类器的初始化。(3)读入下一帧的两种图像，在上一帧跟踪结果(第一帧为手动框选的位置)的基础上通过粒子滤波采样200个(选取200的原因是为了在选取足够的样本和跟踪效率上做的一个权衡)具有平移、尺度变化的样本。(4)分别通过两种模态的分类器在上面获得的样本中得到最好的样本作为该帧的跟踪结果。(5)判断分类器得到的最好的样本的分类得分是否大于某个阈值，如果是，更新分类器，否则不更新。(6)判断该帧是否为预设T的倍数或者最后一帧(T为大于0的值)，如果是，从该帧开始重新初始化两种模态的分类器，往回跟踪T帧，继续步骤(7)。否则返回(3)。(7)记这T帧的起始时间帧是τs，终止时间是τe，从τs到τe的正向跟踪结果的矩形框为：可见光模态下在红外模态下为从τs到τe的跟踪结果的矩形框中心坐标为：可见光模态下红外模态下从τe到τs的反向跟踪结果的矩形框为中心坐标为(8)在这T帧下，计算可见光模态下跟踪结果正向、反向的平均重合率(其中overlap函数是两个矩形交集面积和并集面积之比)；计算红外模态下跟踪结果正向、反向的平均重合率(9)在这T帧下，计算可见光模态下跟踪结果中心的正向方向平均距离计算红外模态下的平均距离(10)在这T帧下，计算可见光模态下目标正向运动的总路程计算红外模态下目标正向运动的总路程(11)在两种模态下定义一个有效值：可见光模态下，有效值红外模态下的有效值为(12)如果那么可见光模态在这T帧的跟踪结果要好于红外模态，跟踪结果选择可见光模态的跟踪结果，红外模态在第e帧选择可见光的跟踪结果并重新初始化；否则选择红外模态的跟踪结果，可见光模态在第e帧的跟踪结果选择红外模态的并重新初始化。如果是最后一帧，则跟踪结束，否则返回(3)。上述各式中：表示在模态m下从时间τs到τs的正向跟踪结果矩形框集合，元素表示在m模态下τi时刻正向跟踪的矩形框；其中m＝1是可见光，m＝2是红外模态，i＝s，s+1，…，e；表示在模态m下从时间τs到τs的正向跟踪结果矩形中心坐标集合，元素表示在m模态下τi时刻正向跟踪的矩形中心坐标，α是平衡参数，λ1和λ2是权重值；相应地，当标记的上方是←时表示的是反向跟踪与现有技术相比，本专利技术的有益效果为：本专利技术能在计算机上实现对视频的目标近乎实时跟踪，跟踪性能较普通方法也有很大的提高，解决了仅依靠单模态跟踪下信息较少和融合多模态信息造成干扰的缺点。该方法能自动选择较好的模态进行跟踪，使跟踪性能大大提升。附图说明图1是本专利技术的流程图.图2是本专利技术中可见光和红外图像正向反向跟踪示意图。图3是本专利技术展示的两个视频的跟踪结果，虚线矩形是STRUCK算法跟踪结果，实线矩形是本专利技术的跟踪结果。右边的饼状图分别表示跟踪过程中挑选的模态所占的比重。具体实施方式下面结合附图对本专利技术做进一步的描述，但本专利技术的实施方式并不限于此。本专利技术调用开源计算机视觉库OpenCV，开源矩阵运算库Eigen,下面结合附图对本专利技术进一步描述。两种模态下正向跟踪与反向跟踪(图1左右虚线框)读入图像：分别读入可见光和红外图像，都转换成灰度图然后计算积分图。在任一图像上手动框选目标框，框选后算法分别在两种模态下通过粒子滤波采样正负样本(与目标框重合率大于0.5的是正样本，重合率小于0.5的为负样本)，每个样本都计算haar特征。haar特征使用6种特征子，共192维特征。由正负样本完成两种模态下分类器的初始化。具体就是求解下面的目标函数。 m i n w 1 2 | | w | | 2 本文档来自技高网...

【技术保护点】
一种结合可见光和红外图像的多模态目标跟踪方法，其特征在于，步骤如下：分别获取可见光图像和红外图像；在任一模态下标定目标框；两种模态下分别初始化目标模型；使用STRUCK算法分别跟踪T帧，在跟踪过程中判断是否要更新目标模型；跟踪T帧后，两种模态下分别往回跟踪T帧；分别计算两种模态下前向后向跟踪的误差；比较在这T帧两种模态下正向反向跟踪结果，选择可信度较高的模态作为这T帧的跟踪结果；这T帧下可信度比较小的模态位置更新为另一模态下的位置，并重新初始化目标模型；判断是否最后帧决定继续跟踪还是结束跟踪。

【技术特征摘要】
1.一种结合可见光和红外图像的多模态目标跟踪方法，其特征在于，步骤如下：分别获取可见光图像和红外图像；在任一模态下标定目标框；两种模态下分别初始化目标模型；使用STRUCK算法分别跟踪T帧，在跟踪过程中判断是否要更新目标模型；跟踪T帧后，两种模态下分别往回跟踪T帧；分别计算两种模态下前向后向跟踪的误差；比较在这T帧两种模态下正向反向跟踪结果，选择可信度较高的模态作为这T帧的跟踪结果；这T帧下可信度比较小的模态位置更新为另一模态下的位置，并重新初始化目标模型；判断是否最后帧决定继续跟踪还是结束跟踪。2.根据权利要求1所述的多模态目标跟踪方法，其特征在于，其具体过程如下：(1)读入图像：分别读入可见光和红外图像，分别将其转换成单通道图像后计算积分图；(2)在任一可见光或红外图像上手动框选目标框，框选后分别在可见光模态和红外模态这两种模态下通过粒子滤波采样正负样本，完成分类器的初始化；(3)读入下一帧的两种图像，在上一帧跟踪结果的基础上通过粒子滤波采样M个具有平移、尺度变化的样本，其中第一帧为步骤(2)中手动框选的位置；(4)分别采用在可见光模态和红外模态这两种模态的分类器在步骤(3)获得的样本中得到最好的样本作为该帧的跟踪结果；(5)判断分类器得到的最好的样本的分类得分是否大于预设的阈值，如果是，更新分类器，否则不更新；(6)判断该帧是否为预设T的倍数或者最后一帧，如果不是，则返回(3)；如果是，从该帧开始重新初始化两种模态的分类器，并从该帧开始，往回跟踪T帧，继续步骤(7)；(7)记这T帧的起始时间帧是τs，终止时间是τe，从τs到τe的正向跟踪结果的矩形框为：可见光模态下为在红外模态下为从τs到τe的跟踪结果的矩形框中心坐标...

【专利技术属性】
技术研发人员：胡师艺，林倞，成慧，王青，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44