一种基于多轨迹融合的多目标跟踪方法技术

本发明专利技术公开了一种基于多轨迹融合的多目标跟踪方法，通过对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联的观测结果和预测结果进行轨迹管理，轨迹管理包括对旧轨迹和新轨迹进行轨迹关联、对被关联的旧轨迹和新轨迹进行轨迹融合以及删除符合预设条件的未被关联的旧轨迹。本发明专利技术的多目标跟踪方法能有效减少视频目标跟错、跟丢、漏报等情况。

【技术实现步骤摘要】
一种基于多轨迹融合的多目标跟踪方法
本专利技术涉及视频监控技
，特别地，涉及一种基于多轨迹融合的多目标跟踪方法。
技术介绍
在多目标跟踪（Multipleobjecttracking,MOT）问题中，算法需要根据每一帧图像中目标的检测结果，匹配已有的目标轨迹；对于新出现的目标，需要生成新的目标；对于已经离开摄像机视野的目标，需要终止轨迹的跟踪。这一过程中，目标与检测的匹配可以看作为目标的重识别，例如，当跟踪多个行人时，把已有的轨迹的行人图像集合看作为图像库(gallery)，而检测图像看作为查询图像(query)，检测与轨迹的匹配关联过程可以看作由查询图像检索图像库的过程。多目标跟踪它有许多实际应用，如视频监控、人机交互和虚拟现实。这些实际需求引起了人们对这一话题的极大兴趣。与之相对的，单目标跟踪(SingleObjectTracking,SOT)主要集中在设计复杂的外观模型和/或运动模式，解决具有挑战性的问题如尺度变化，出平面旋转和光照变化，而多目标跟踪还有额外的两个任务需要解决：确定目标的数量（通常随时间变化），和维持各自的ID。除了SOT和MOT的共同问题外，MOT还需要处理更复杂的关键问题包括：1）频繁遮挡；2）轨道初始化和终止；3）相似的外观；4）多目标间的相互影响。由于真实环境中存在目标频繁遮挡、背景变化、虚假观测以及目标数目可变等复杂情况，多目标跟踪实现过程中非常容易出现目标误报、漏报或目标间身份切换等问题。因此，基于视频的多目标跟踪技术也是一个极具挑战性的课题，具有很强的实际应用和理论研究价值。
技术实现思路
本专利技术的目的在于提供一种基于多轨迹融合的多目标跟踪方法，通过对视频中的物体、人物等目标持续跟踪，以解决现有跟踪方法中出现目标误报、漏报或目标间身份切换的问题。为实现上述目的，本专利技术提供了一种基于多轨迹融合的多目标跟踪方法，其包括以下步骤：步骤1、输入当前视频帧，对该帧图像进行预处理操作；步骤2、采用目标对象检测器，获取目标对象的边界框；步骤3、对于每个检测到的物体计算其特征；步骤4、计算当前帧检测到的候选目标与已有的跟踪目标的特征相似性，并采用匈牙利匹配算法进行匹配；步骤5、将新产生的轨迹片段与旧的轨迹片段进行匹配，判断二者是否属于同一个身份；具体做法如下：1）、检测独立未关联的轨迹片段是否发生了“溢出”边界情况；具体为判断目标边界框四个顶点的位置是否在边界领域范围，若有一个顶点在边界领域范围，则认为该目标正在发生“溢出”边界情况；边界即包括视频帧的上下左右边界，也包括监控视频场景内可以离开拍摄场景的区域；边界领域范围是指以边界为中心的一定宽度的多边形区域；2）、判断出该轨迹片段是否处于正在溢出边界区域或者处于稳定的边界区域内后，通过线性运动模型计算其预测位置；如果该目标正处于溢出边界区域，在计算其预测位置和运动方向时，按照其序列中边界点中最大值进行计算，即考虑其边界框的四个顶点，取四个顶点的中发生变化最大的值作为运动估计的参考点；如果该目标正处于稳定的边界区域内，在计算其运动方向和预测位置时，按照其序列中边界点中最小值进行计算，即考虑其边界框的四个顶点，取四个顶点的中发生变化最小的值作为运动估计的参考点；3）、根据预设的距离阈值，判断不同独立未关联上的轨迹序列是否属于同一个身份，如果属于同一身份，则将其关联起来；具体计算方法是计算旧轨迹的未来出现位置是否与现有的新轨迹存在大于阈值的相似性；步骤6、删除符合预设条件的未被关联的旧轨迹。进一步的，所述步骤1中采用运动模糊补偿法对视频帧图像进行预处理。进一步的，所述步骤4中当在检测结果中特征相似性最近且符合距离小于预设的距离阈值时，则认定该候选目标满足强关联条件并将其加入对应跟踪目标的轨迹当中；所有跟踪目标匹配结束后，将没有匹配到任何跟踪目标的候选目标加入轨迹管理序列中。进一步的，所述步骤5中：新产生的轨迹是指新产生的，一定时间内(例如设置为5s)跟踪得到的轨迹；相应的，旧的轨迹是指已经存在的，产生超过一定时间(5s)的跟踪轨迹。进一步的，采用线性插值方法在被关联的旧轨迹和新轨迹之间插入目标位置，以使得被关联的旧轨迹和新轨迹融合为同一轨迹；同时，可以将新轨迹的轨迹标识设置为关联的旧轨迹的轨迹ID，从而使得该旧轨迹恢复为可正常预测关联的已存在的有效轨迹，继续进行目标跟踪。进一步的，所述步骤6的具体做法为将连续未更新帧数超过N帧的旧轨迹设置为无效轨迹，即该旧轨迹连续N+1帧未被关联时，该旧轨迹为无效轨迹，予以删除。相比于现有技术，本专利技术具有以下有益效果：本专利技术的一种基于多轨迹融合的多目标跟踪方法，通过对当前视频帧进行运动检测，检测得到的可能运动对象作为观测结果；对观测结果和目标的预测结果进行数据关联，其中预测结果是至少利用前一视频帧的目标的轨迹进行预测而得到的；对未被关联的观测结果和预测结果进行轨迹管理，轨迹管理包括对旧轨迹和新轨迹进行轨迹关联、对被关联的旧轨迹和新轨迹进行轨迹融合、删除符合预设条件的未被关联的旧轨迹。本专利技术的多目标跟踪方法能有效减少视频目标跟错、跟丢、漏报等情况。除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照图，对本专利技术作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是本专利技术一种基于多轨迹融合的多目标跟踪方法的流程图。具体实施方式以下结合附图对本专利技术的实施例进行详细说明，但是本专利技术可以根据权利要求限定和覆盖的多种不同方式实施。参见图1，本实施例提供一种基于多轨迹融合的多目标跟踪方法，包括以下步骤：步骤1、输入当前视频帧，对该帧图像进行预处理操作。具体地，由于视频帧容易出现运动模糊或者曝光过度等情况，可以采用运动模糊补偿等方法对视频帧图像进行处理，提高其清晰度，用于下一步的目标对象检测。步骤2、采用目标对象检测器，获取目标对象的边界框；即该图像块的X坐标、y坐标、高度和宽度等状态信息。具体可以使用基于深度学习的目标检测算法，例如，目标检测模型中的two-stage类，将物体识别和物体定位分为两个步骤分别完成，这一类的典型代表是R-CNN、fastR-CNN以及faster-RCNN家族，他们识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景。而另一类算法是one-stage家族，典型代表是Yolo、SSD以及YoloV4等，他们识别速度很快，可以达到实时性要求，而且准确率也基本能达到fasterR-CNN的水平。以上可根据实际需求进行选用。步骤3、对于每个检测到的物体计算其特征，通常是视觉和运动特征等。例如，空间维度上的特征(下文简称空间特征)通常在单张图片中提取得到，比如颜色直方图、梯度直方图(HistogramofOrientedGra本文档来自技高网...

【技术保护点】
1.一种基于多轨迹融合的多目标跟踪方法，其特征在于，包括以下步骤：/n步骤1、输入当前视频帧，对该帧图像进行预处理操作；/n步骤2、采用目标对象检测器，获取目标对象的边界框；/n步骤3、对于每个检测到的物体计算其特征；/n步骤4、计算当前帧检测到的候选目标与已有的跟踪目标的特征相似性，并采用匈牙利匹配算法进行匹配；/n步骤5、将新产生的轨迹片段与旧的轨迹片段进行匹配，判断二者是否属于同一个身份；具体做法如下：/n1）、检测独立未关联的轨迹片段是否发生了“溢出”边界情况；具体为判断目标边界框四个顶点的位置是否在边界领域范围，若有一个顶点在边界领域范围，则认为该目标正在发生“溢出”边界情况；边界即包括视频帧的上下左右边界，也包括监控视频场景内可以离开拍摄场景的区域；边界领域范围是指以边界为中心的一定宽度的多边形区域；/n2）、判断出该轨迹片段是否处于正在溢出边界区域或者处于稳定的边界区域内后，通过线性运动模型计算其预测位置；如果该目标正处于溢出边界区域，在计算其预测位置和运动方向时，按照其序列中边界点中最大值进行计算，即考虑其边界框的四个顶点，取四个顶点的中发生变化最大的值作为运动估计的参考点；如果该目标正处于稳定的边界区域内，在计算其运动方向和预测位置时，按照其序列中边界点中最小值进行计算，即考虑其边界框的四个顶点，取四个顶点的中发生变化最小的值作为运动估计的参考点；/n3）、根据预设的距离阈值，判断不同独立未关联上的轨迹序列是否属于同一个身份，如果属于同一身份，则将其关联起来；具体计算方法是计算旧轨迹的未来出现位置是否与现有的新轨迹存在大于阈值的相似性；/n步骤6、删除符合预设条件的未被关联的旧轨迹。/n...

【技术特征摘要】
1.一种基于多轨迹融合的多目标跟踪方法，其特征在于，包括以下步骤：
步骤1、输入当前视频帧，对该帧图像进行预处理操作；
步骤2、采用目标对象检测器，获取目标对象的边界框；
步骤3、对于每个检测到的物体计算其特征；
步骤4、计算当前帧检测到的候选目标与已有的跟踪目标的特征相似性，并采用匈牙利匹配算法进行匹配；
步骤5、将新产生的轨迹片段与旧的轨迹片段进行匹配，判断二者是否属于同一个身份；具体做法如下：
1）、检测独立未关联的轨迹片段是否发生了“溢出”边界情况；具体为判断目标边界框四个顶点的位置是否在边界领域范围，若有一个顶点在边界领域范围，则认为该目标正在发生“溢出”边界情况；边界即包括视频帧的上下左右边界，也包括监控视频场景内可以离开拍摄场景的区域；边界领域范围是指以边界为中心的一定宽度的多边形区域；
2）、判断出该轨迹片段是否处于正在溢出边界区域或者处于稳定的边界区域内后，通过线性运动模型计算其预测位置；如果该目标正处于溢出边界区域，在计算其预测位置和运动方向时，按照其序列中边界点中最大值进行计算，即考虑其边界框的四个顶点，取四个顶点的中发生变化最大的值作为运动估计的参考点；如果该目标正处于稳定的边界区域内，在计算其运动方向和预测位置时，按照其序列中边界点中最小值进行计算，即考虑其边界框的四个顶点，取四个顶点的中发生变化最小的值作为运动估计的参考点；
3）、根据预设的距离阈值，判断不同独立未关联上的轨迹序列是否属于同一个身份...

【专利技术属性】
技术研发人员：涂丹，徐新文，朱为，汪彦明，谢志恒，胡青霞，王涛，徐东，
申请(专利权)人：长沙鹏阳信息技术有限公司，
类型：发明
国别省市：湖南;43