一种基于MDP的多目标车辆跟踪方法技术

本发明专利技术公开一种基于马尔可夫决策过程(MDP)的多目标车辆跟踪方法，通过视频序列获取目标车辆，对目标车辆进行检测，目标车辆进入激活状态；其中，目标车辆的状态包括：激活状态、跟踪状态、非激活状态和丢失状态；对于处于激活状态的目标车辆，通过离线方式训练二分类器，并依据二分类器实现对目标车辆状态转移的判断；对于进入跟踪状态的目标车辆，采用在线的方式对目标车辆构造外观模板，并依据外观模板实现对目标车辆状态转移的判断；对于处于丢失状态的目标车辆，通过数据关联二分类器强化学习，实现对目标车辆状态转移的判断；该方法可以克服车辆跟踪技术面临的主要技术难点，降低跟踪出错概率，提高跟踪效果。

Multi target vehicle tracking method based on MDP

【技术实现步骤摘要】
一种基于MDP的多目标车辆跟踪方法
本专利技术涉及目标跟踪
，特别涉及一种基于MDP的多目标车辆跟踪方法。
技术介绍
根据目标跟踪算法运行时输入视频序列的特点，可将输入数据分为固定摄像机拍摄数据和运动摄像机拍摄数据。对于固定摄像机拍摄得到的数据，因为拍摄点固定所以拍摄场景的背景几乎不变，整个输入数据中变化最明显的则为所需要跟踪的目标，所以这类数据对算法要求较低。而对于运动摄像机拍摄得到的数据，因为拍摄点在时刻运动，这就造成整个拍摄画面都处在不停运动中，会对跟踪算法正确运行造成很大的挑战。同时在拍摄过程中环境因素也会对车辆跟踪技术提出更多的挑战。环境因素不仅包括外部的天气环境对视频中所拍摄车辆清晰度的影响，更重要的是车辆在行驶过程中可能出现无规则的运动，这会对车辆自身特征造成影响，车辆跟踪技术面临的主要技术难点包括：算法时间复杂度高、车辆快速移动、摄像机运动、车辆被遮挡、车辆尺度变化、相似物体干扰，这些技术难点都会对于跟踪算法提出了很高的要求。再有，通过视频序列实现多目标跟踪是计算机视觉领域的一个重要课题，其可广泛应用在多种视频分析场景中，如机器人导航、自动驾驶、视频监控、运动分析等。近些年多目标跟踪领域主要使用的是通过检测来实现跟踪的策略，为了解决在跟踪过程中可能出现的对检测目标数据关联出错以及检测失败的问题，很多的跟踪算法都对输入的图像序列采用批量处理的方式。批量处理意味着在进行跟踪时未来时间的图像也会被使用来解决数据关联异常的问题，也就是说该跟踪算法属于非因果系统。因此这类多目标跟踪算法的使用场景受到很多限制，对于像机器人导航和自动驾驶这类的应用场景则完全无法应用。而采用在线方式实现多目标车辆跟踪的主要挑战则是如何很好地将当前检测结果与之前的目标进行数据关联。实现数据关联的基础就是计算出检测结果和目标之间的相似函数，在计算相似函数时通过引入不同信息，如车辆外形、运动状态、位置等，可以极大减少数据关联时出错的概率。很多之前的在线多车辆跟踪算法主要采用启发式的方法选择相似函数的参数模型，然后通过交叉验证的方式调整参数，这种方式不适用于特征数量较多的情况并且也无法有效保证算法的泛化能力。最近很多技术人员尝试向多目标车辆跟踪算法加入学习能力；根据算法学习过程与跟踪过程发生的先后顺序，可将算法分为离线学习跟踪算法和在线学习跟踪算法。对于离线学习算法，学习的过程发生在实际跟踪之前，算法需要预先根据真实标定来学习相似函数实现数据关联。这样做的结果就是，离线学习的跟踪算法是一种静态的，它在数据关联的过程中不能有效利用输入图像序列中动态的信息以及跟踪目标过去的状态信息，而这些信息对于提升数据关联的效果具有十分重要的意义，尤其是对于车辆短暂消失或部分遮挡的情况下它们起到了决定性的作用。相对应的在线学习跟踪算法则是在跟踪的同时进行学习。在线学习跟踪算法普遍采取的策略是首先通过真实标定数据确定跟踪的目标车辆，然后分别对目标车辆建立正负训练数据集，以此来训练数据关联中使用到的相似函数。在线学习的跟踪算法充分应用了图像序列中动态的信息以及跟踪目标过去的状态信息，但由于在跟踪过程中没有别的真实标定数据可供参考，因此跟踪发生错误后很容易被累积，导致最终跟踪失败出现跟踪漂移的现象。因此，如何克服车辆跟踪技术面临的主要技术难点，降低跟踪出错概率，提高跟踪效果，成为同行业从业人员亟待解决的技术问题。
技术实现思路
本专利技术的目的在于，提出了一种基于MDP的在线多目标跟踪算法，解决了车辆跟踪技术面临的主要技术难点，跟踪效果差的问题。MDP(马尔可夫决策)过程是一种随机动态系统的最优决策过程，在每个时刻决策者根据系统当前所处状态进行分析并从多个可用决策中选择；当决策者实施决策后，系统将获得奖赏，该奖赏与系统状态及决策有关并会影响系统下一时刻的状态；系统在下一时刻点所处的状态，决策者仍需按照上述过程，观察系统状态并采取决策，如此重复下去直到满足结束条件。为了解决上述技术问题，本专利技术实施例提供一种基于MDP的多目标车辆跟踪方法，包括：S1、通过视频序列获取目标车辆，对所述目标车辆进行检测，并对所述目标车辆进行激活处理，使所述目标车辆处于激活状态；其中，所述目标车辆的状态包括：激活状态、跟踪状态、非激活状态和丢失状态；S2、对于处于激活状态的目标车辆，通过离线方式训练二分类器，并依据所述二分类器实现对所述目标车辆状态转移的判断；若转移至跟踪状态则进行步骤S3，否则进入激活状态，停止跟踪；S3、对于进入跟踪状态的目标车辆，采用在线的方式对目标车辆构造外观模板，并依据所述外观模板实现对所述目标车辆状态转移的判断；若转移至丢失状态则进行步骤S4，否则继续进行步骤S3；S4、对于处于丢失状态的目标车辆，通过数据关联二分类器强化学习，实现对所述目标车辆状态转移的判断；若转移至非激活状态则停止跟踪，若转移至跟踪状态则进行步骤S3，若保持丢失状态则继续进行步骤S4；S5、通过所述步骤S1至S4对目标车辆进行跟踪，直至所述目标车辆处于非激活状态或跟踪所述目标车辆至视频序列的最后一帧。在一个实施例中，所述步骤S2包括：通过五维的特征向量φActive(s)对二分类器进行训练得到：通过训练得到的二分类器，在激活状态下学习到的奖励函数为：其中，(wActive,bActive)表示激活状态下SVM超平面；若y(a)＝+1，则对应动作a＝a1，激活状态下目标车辆进入跟踪状态；若y(a)＝-1，则对应动作a＝a2，激活状态下目标车辆进入非激活状态；所述五维的特征向量φActive(s)包括二维的坐标，宽度，高度和检测得分。在一个实施例中，所述步骤S3包括：S31、目标车辆转移至跟踪状态成为跟踪目标车辆时，对目标模板的数据进行初始化；S32、通过光流跟踪算法在目标模板内均匀密集地获取采样点集，计算所述采样点集到新一帧的光流；S33、计算完成所有所述采样点集的光流后，计算目标模板内采样点集的前向反向误差的中位数作为决策的度量标准；所述目标模板内采样点集的前向反向误差用原始采样点集与前向反向预测采样点集间的欧几里得距离表示：e(u)＝||u-u’||2，：emedFB＝median({e(ui)}n＝1)表示所述采样点集的前向反向误差的中位数，其中，n表示点集个数；所述emedFB为进行决策的一个度量标准；其中，u表示目标模板内的采样点集，u’表示针对目标模板的预测采样点集；S34、计算目标车辆在过去K帧的平均边界框重叠率：所述omean为进行决策的另一项度量标准，最终定义在跟踪状态下的奖励函数为：其中,e0和o0表示预设阈值，若y(a)＝+1则对应动作a＝a3，目标车辆会被持续跟踪处在跟踪状态，若y(a)＝-1则对应动作a＝a4，目标车辆将会转移到丢失状态，当所述目标车辆的emedFB小于预设阈值且omean大于预设阈值，目标车辆会持续处在跟踪状态，否则目标将会转移到丢失状态。在一个实施例本文档来自技高网...

【技术保护点】
1.一种基于MDP的多目标车辆跟踪方法，其特征在于，包括：/nS1、通过视频序列获取目标车辆，对所述目标车辆进行检测，并对所述目标车辆进行激活处理，使所述目标车辆处于激活状态；其中，所述目标车辆的状态包括：激活状态、跟踪状态、非激活状态和丢失状态；/nS2、对于处于激活状态的目标车辆，通过离线方式训练二分类器，并依据所述二分类器实现对所述目标车辆状态转移的判断；若转移至跟踪状态则进行步骤S3，否则进入激活状态，停止跟踪；/nS3、对于进入跟踪状态的目标车辆，采用在线的方式对目标车辆构造外观模板，并依据所述外观模板实现对所述目标车辆状态转移的判断；若转移至丢失状态则进行步骤S4，否则继续进行步骤S3；/nS4、对于处于丢失状态的目标车辆，通过强化学习的方式训练二分类器，实现对所述目标车辆状态转移的判断；若转移至非激活状态则停止跟踪，若转移至跟踪状态则进行步骤S3，若保持丢失状态则继续进行步骤S4；/nS5、通过所述步骤S1至S4对目标车辆进行跟踪，直至所述目标车辆处于非激活状态或跟踪所述目标车辆至视频序列的最后一帧。/n

【技术特征摘要】
1.一种基于MDP的多目标车辆跟踪方法，其特征在于，包括：
S1、通过视频序列获取目标车辆，对所述目标车辆进行检测，并对所述目标车辆进行激活处理，使所述目标车辆处于激活状态；其中，所述目标车辆的状态包括：激活状态、跟踪状态、非激活状态和丢失状态；
S2、对于处于激活状态的目标车辆，通过离线方式训练二分类器，并依据所述二分类器实现对所述目标车辆状态转移的判断；若转移至跟踪状态则进行步骤S3，否则进入激活状态，停止跟踪；
S3、对于进入跟踪状态的目标车辆，采用在线的方式对目标车辆构造外观模板，并依据所述外观模板实现对所述目标车辆状态转移的判断；若转移至丢失状态则进行步骤S4，否则继续进行步骤S3；
S4、对于处于丢失状态的目标车辆，通过强化学习的方式训练二分类器，实现对所述目标车辆状态转移的判断；若转移至非激活状态则停止跟踪，若转移至跟踪状态则进行步骤S3，若保持丢失状态则继续进行步骤S4；
S5、通过所述步骤S1至S4对目标车辆进行跟踪，直至所述目标车辆处于非激活状态或跟踪所述目标车辆至视频序列的最后一帧。


2.如权利要求1所述的一种基于MDP的多目标车辆跟踪方法，其特征在于，所述步骤S2包括：
通过五维的特征向量φActive(s)对二分类器进行训练得到：






通过强化学习训练得到的二分类器，在激活状态下学习到的奖励函数为：



其中，(wActive,bActive)表示激活状态下SVM超平面；若y(a)＝+1，则对应动作a＝a1，激活状态下目标车辆进入跟踪状态；若y(a)＝-1，则对应动作a＝a2，激活状态下目标车辆进入非激活状态；所述五维的特征向量φActive(s)包括二维的坐标，宽度，高度和检测得分。


3.如权利要求1所述的一种基于MDP的多目标车辆跟踪方法，其特征在于，所述步骤S3包括：
S31、目标车辆转移至跟踪状态成为跟踪目标车辆时，对目标模板的数据进行初始化；
S32、通过光流跟踪算法在目标模板内均匀密集地获取采样点集，计算所述采样点集到新一帧的光流；
S33、计算完成所有所述采样点集的光流后，计算目标模板内采样点集的前向反向误差的中位数作为决策的度量标准；
所述目标模板内采样点集的前向反向误差用原始采样点集与前向反向预测采样点集间的欧几里得距离表示：e(u)＝||u-u’||2，表示所述采样点集的前向反向误差的中位数，其中，n表示点集个数；所述emedFB为进行决策的一个度量标准；其中，u表示目标模板内的采样点集，u’表示针对目标模板的预测采样点集；
S34、计算目标车辆在过去K帧的平均边界框重叠率：所述omean为进行决策的另一项度量标准，最终定义在跟踪状态下的奖励函数为：



其中,e0和o0表示预设阈值，若y(a)＝+1则对应动作a＝a3，目标车辆会被持续跟踪处在跟踪状态，若y(a)＝-1则对应动作a＝a4，目标车辆将会转移到丢失状态，当所述目标车辆的eme...

【专利技术属性】
技术研发人员：庄文芹，袁柱柱，
申请(专利权)人：南京因果人工智能研究院有限公司，
类型：发明
国别省市：江苏;32