基于联合推理的视频多目标跟踪方法技术

一种视频处理技术领域的基于联合推理的视频多目标跟踪方法，通过首先读入视频文件的一帧图像并对其进行图像栅格化处理，然后采用在线检测器以及作为跟踪器的KLT跟踪算法标定目标的候选位置，分别筛选后综合结果，其次将得出的候选位置结果进行量化评分，最后利用联合函数来描述目标跟踪情况并将基于联合函数的最优解作为目标在这一帧的位置，即实现目标跟踪。本发明专利技术能够解决多目标跟踪下跟踪技术中对于检测跟踪算法结合的处理方法以及多目标相互关系的处理，利用联合函数来描述多目标之间关系，不仅解决了检测与跟踪的结果融合问题，同时也从全局考虑，综合了每个目标之间的关系，得出了全局最优解。

【技术实现步骤摘要】

本专利技术涉及的是一种视频处理
的方法，具体是一种。
技术介绍
随着摄像头设备的发展和普及，视频跟踪在生产和生活中占有了越来越重要的地位。特别是在视频监控系统中，跟踪算法可以有效的降低人工成本，节约时间。然而由于跟踪技术本身的不完善以及复杂多变的跟踪环境，影响了跟踪结果的准确性，使跟踪算法的应用受到了限制。视频中的目标跟踪是非常有挑战性的课题，因为跟踪过程中有很多的不确定因素，比如:复杂的背景，若背景与被跟踪目标相似，会干扰跟踪算法对目标位置的判断；明显的物体遮挡、目标外形的快速变化，这些都会导致目标在画面中的外观有明显的变化，导致算法丢失被跟踪目标。对于多目标跟踪而言，除了上述的问题，各个目标之间的相似性、相互作用和相互遮挡都会给正确跟踪带来难度。针对这些问题一般的处理方法往往是采用检测算法与跟踪算法相结合的方法，也就是利用检测算法来提高最终跟踪的效果。然而，在检测算法的正确性难以保证的前提下，是否能提高跟踪率仍是个问题。经过现有技术的文献检索发现，很多学者利用自适应学习的方法来确保检测器的正确性，从而处理检测结果与跟踪结果互相协调的问题，比如Zdenek等在《IEEETransaction on Pattern Analysis and Machine Intelligence)) (2012 年第 34 期第1409-1422页)上发表的“Tracking-Learning-Detection”,该文利用了 “跟踪-学习-检测(TLD)”的框架结构，利用跟踪与检测相结合的方法处理跟踪问题。具体的说，首先，输入一帧图像，图像栅格化后，得到大量的图像区块；然后，跟踪器筛选出符合要求的图像区块，检测器也标定所有在外观上可能成为目标的图像区块；最后，采用跟踪环节和检测环节相结合的方法，当跟踪器失败时可以利用检测器的结果重新初始化跟踪器，同时利用跟踪结果扩充训练样本集在线训练检测器，提高检测器的精度。从该技术公开的实验结果可见，TLD在长时间跟踪上有很好的效果。不过该方法仍然存在很多限制:1)只适用于单目标跟踪2)如果目标的外观发生了较大的变化，或者发生了完全遮挡，该方法效果不好，这是因为在这种情况下在线检测器不能正确给出目标的可能位置。中国专利文献号CN103176185A申请公布日:2013.06.26，公开了 一种用于检测道路障碍物的方法及系统，该技术基于视频摄像装置的第一障碍物检测模型，基于视频摄像装置和毫米波雷达的第二障碍物检测模型，基于三维激光雷达和红外线摄像装置的第三障碍物检测模型，并且通过基于粗糙集的模糊神经网络算法使得所述多个模型形成互补检测，从而实时获取道路障碍物的特征信息。但该技术设备成本高，也不能对障碍物做有效跟踪从而结合历史信息做出跟准确的检测结果。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种，能够解决多目标跟踪下跟踪技术中对于检测跟踪算法结合的处理方法以及多目标相互关系的处理，利用联合函数来描述多目标之间关系，不仅解决了检测与跟踪的结果融合问题，同时也从全局考虑，综合了每个目标之间的关系，得出了全局最优解。本专利技术是通过以下技术方案实现的，本专利技术通过首先读入视频文件的一帧图像并对其进行图像栅格化处理，然后采用在线检测器以及作为跟踪器的KLT跟踪算法标定目标的候选位置，分别筛选后综合结果，其次将得出的候选位置结果进行量化评分，最后利用联合函数来描述目标跟踪情况并将基于联合函数的最优解作为目标在这一帧的位置，即实现目标跟踪。当所述的图像为视频文件的第一帧，则在图像栅格化处理前先进行初始化操作，具体为:手动输入需要跟踪的目标个数，然后手动框出目标。所述的初始化操作是指:初始化检测器与跟踪器,通过random fern在线学习的方法更新检测器，同时基于KLT算法的跟踪器也会在目标范围内选出特征点，用于下一帧的目标跟踪。所述的图像栅格化处理，是指:用大小不一的滑动窗口扫描整帧图像得到不同位置大小不同的图像块，用来作为候选目标，具体为:首先根据初始化目标的大小，等比得出一系列不同尺度大小的滑动窗口，尺度变换的比例范围是1.2,?1.210 ;每个滑动窗口依次按照从左到右从上到下的顺序遍历整幅图像，滑动窗口位移大小为窗口大小的0.1。这样，就可以得到很多不同位置大小不同的图像块。所述的候选位置通过以下方式得到:首先，计算图像块密度方差，当图像块密度方差过小，则被排除，被跟踪目标模板图像在第一帧初始化时取得，图像块方具体差计算公式为其中:Pi指的是第i幅图像块的灰度图像，E O指的是求平均函数，当Cif > I.4，则第i幅图像块就被保留，其中:1为固定参数，Cfg表示模板图像的方差。然后，对输入图像区块提取二值特征，利用random fern算法在线训练得到的分类器估计每一个通过密度方差判断的图像块与被检测目标的相似度，相似度判断公式为:P(cjx)=其中:Cl表示训练类别，这里训练时只有两种类别，与被检测目标相似用C1表示，与被检测目标不相似，用Ctl表示A (C11 x)表示第i颗fern得到的后验概率。最后，将所有ferns得到的后验概率进行平均，得到最终的后验概率值，当相似度P (C11 x) >50%，则输入图像块与被检测目标相似，保留该图像块。所述的标定是指:在图像的第一帧时做KLT算法初始化处理，不做跟踪，之后每一帧都从上一帧目标位置中利用KLT算法选取被跟踪目标特征，在当前帧中找到与之相对应的特征区域；然后跟踪器根据图像块的每个图像块内部的特征点个数来决定是否保留，若一个图像块区域内的特征点个数超过了一定的经验阈值，那么该图像块就被判定为候选状态而被保留。所述的量化评分是指:提取候选图像块的Haar特征，通过级联Adaboost分类器评价候选位置的真实性，进行量化的评价本文档来自技高网...

【技术保护点】
一种基于联合推理的视频多目标跟踪方法，其特征在于，通过首先读入视频文件的一帧图像并对其进行图像栅格化处理，然后采用在线检测器以及作为跟踪器的KLT跟踪算法标定目标的候选位置，分别筛选后综合结果，其次将得出的候选位置结果进行量化评分，最后利用联合函数来描述目标跟踪情况并将基于联合函数的最优解作为目标在这一帧的位置，即实现目标跟踪。

【技术特征摘要】
1.一种基于联合推理的视频多目标跟踪方法，其特征在于，通过首先读入视频文件的一帧图像并对其进行图像栅格化处理，然后采用在线检测器以及作为跟踪器的KLT跟踪算法标定目标的候选位置，分别筛选后综合结果，其次将得出的候选位置结果进行量化评分，最后利用联合函数来描述目标跟踪情况并将基于联合函数的最优解作为目标在这一帧的位置，即实现目标跟踪。2.根据权利要求1所述的方法，其特征是，所述的初始化操作是指:初始化检测器与跟踪器，通过random fern在线学习的方法更新检测器，同时基于KLT算法的跟踪器也会在目标范围内选出特征点，用于下一帧的目标跟踪。3.根据权利要求1所述的方法，其特征是，所述的图像栅格化处理，是指:用大小不一的滑动窗口扫描整帧图像得到不同位置大小不同的图像块，用来作为候选目标，具体为:首先根据初始化目标的大小，等比得出一系列不同尺度大小的滑动窗口，尺度变换的比例范围是1.2,~1.210 ;每个滑动窗口依次按照从左到右从上到下的顺序遍历整幅图像，滑动窗口位移大小为窗口大小的0.1，即得到很多不同位置大小不同的图像块。4.根据权利要求1所述的方法，其特征是，所述的候选位置通过以下方式得到: 首先，计算图像块密度方差，当图像块密度方差过小，则被排除，被跟踪目标模板图像在第一帧初始化时取得，图像块方具体差计算公式为:《 = ￡.(?#卜护(P,.)，其中巩指的是第i幅图像块的灰度图像，EO指的是求平均函数，当>!._，则第i幅图像块就被保留，其中:1为固定参数，4表示模板图像的方差；然后，对输入图像区块提取二值特征，利用random fern算法在线训练得到的分类器估计每一个通过密度方差判断的图像块与被检测目标的相似度，相似度判断公式为:Pc11 x) = -ELi Pd_)，其中=C1表示训练类别，这里训练时只有两种类别，与被检测目标相`似用C1表示，与被检测目标不相似，用Ctl表示A (C11 x)表示第i颗fern得到的后验概率；最后，将所有ferns得到的后验概率进行平均，得到最终的后验概率值，当相似度P (C11 X) >5...

【专利技术属性】
技术研发人员：张辰元，蔡岭，张颖华，赵宇明，胡福乔，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31