一种行人多目标跟踪方法和装置制造方法及图纸

本发明专利技术公开了行人多目标跟踪方法和装置，其中该方法包括以下步骤：根据丢失对象的位置信息扩大检测范围，并根据丢失对象的表观特征在扩大后的检测范围内检测重现对象；若未检测到重现对象，则将丢失对象归为失踪对象；检测新生对象，判断新生对象是否符合恢复条件；若新生对象符合恢复条件，则将新生对象加入到失踪对象的跟踪轨迹。通过使用多个状态来管理跟踪对象的生命周期，解决了多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。

A pedestrian multi target tracking method and device

The invention discloses a pedestrian multi-target tracking method and device, wherein the method comprises the following steps: location information lost object to expand the detection range and detection range according to the concept, characteristics in the detection of objects according to the object table to reproduce the loss; if not detected to reproduce the object will be lost objects classified as missing objects; detection of new objects, new judgment objects conform to restore conditions; if the new object conforms to the recovery conditions, will be added to the new object tracking missing object. Through the use of multiple states to manage the life cycle of object tracking, to solve the multiple target tracking pedestrians are tracking lost, trajectory tracking exchange, trajectory tracking, continuous tracking drift, short time and long time occlusion occlusion problem can't be better.

【技术实现步骤摘要】
一种行人多目标跟踪方法和装置
本专利技术涉及视频跟踪技术，尤其涉及行人多目标跟踪方法和装置。
技术介绍
目前，行人多目标跟踪技术越来越受到学术界和商业界的关注。行人多目标跟踪作为一项重要的基础性技术，通常在安防监控、客流统计等诸多应用场景下有着极为重要的价值。行人多目标跟踪技术旨在通过计算机视觉技术在监控视频场景中得到每个目标从出现在视野中到从视野中消失的完整运动轨迹。由于不同监控场景下行人存在遮挡、运动模式复杂等差异大的问题，行人多目标跟踪一直是图像识别中难度较大的领域(技术)。多目标跟踪研究中的一个重要处理过程是数据关联(DataAssociation)。数据关联分为基于在线(online)的和基于离线(offline)的方法。基于离线的方法，是在得到一个时间段的检测信息后，再根据一些最优化的策略得到这段时间内各个目标的运动轨迹，但是这种方法不能在当前帧输出各目标轨迹，从而不适用于安防等需要实时性比较强的应用场景中。而基于在线的数据关联方法在得到当前视频帧之后输出当前视频帧中所有被跟踪目标的运动轨迹(位置)，并在之后不会修改之前得到的运动轨迹，虽然不会产生时延，但因为该方法缺少跟踪对象“未来”的运动信息，往往会出现匹配错误的情况，造成跟踪轨迹不连续、跟踪轨迹发生交换等。而现有基于在线的数据关联方法也多是从表观特征的相似性来度量，没有考虑到轨迹自身的语义信息。基于深度学习的行人检测方法，相比传统的行人检测方法，提高了目标检测的精确度。使用深度神经网络提取到的行人表观特征，相比传统方法手工设计出的表观特征也具有更强的表达能力和更好的鲁棒性。而上述两方面的进展并未被应用在行人多目标跟踪方法中。CN106097391A公布了一种基于深度神经网络的识别辅助的多目标跟踪方法，该方法中使用深度神经网络用于在目标消失再现后，进行轨迹的恢复，可以改善长距离跟踪效果，具体来说就是首先使用距离度量进行目标之间的关联，将没有分配到跟踪对象的检测目标通过识别网络，识别出与其对应的跟踪对象，从而可以在目标消失后重新恢复跟踪。但是这种方法对表观特征比较依赖，并没有充分使用跟踪对象的运动和位置信息，另外该方法输出的轨迹不能够连续。综上，现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡等问题。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种行人多目标跟踪方法，其能解决现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。本专利技术的目的之二在于提供一种行人多目标跟踪装置，其能解决现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。本专利技术的目的之三在于提供一种行人多目标跟踪装置，其能解决现有视频监控场景下对多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。本专利技术的目的之一采用以下技术方案实现：一种行人多目标跟踪方法，包括以下步骤：根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；若未检测到所述重现对象，则将所述丢失对象归为失踪对象；检测新生对象，判断所述新生对象是否符合恢复条件；若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。进一步地，所述根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象之后，还包括以下步骤：若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹。进一步地，所述根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象之前，还包括以下步骤：将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象；将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象。进一步地，所述根据丢失对象的位置信息扩大检测范围，具体为：所述检测范围随所述丢失对象丢失时间的增大而增大，且所述检测范围不超过上限值。进一步地，所述根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象，具体为：判断在所述检测范围内检测到的所述跟踪对象与所述丢失对象的表观特征距离是否小于重现阈值，若是，则为检测到所述重现对象，且所述表观特征距离小于所述重现阈值的跟踪对象即为所述重现对象。进一步地，所述恢复条件具体为：所述新生对象与所述失踪对象的表观特征距离小于恢复阈值，且所述新生对象的跟踪质量符合所述预设条件。进一步地，所述表观特征是通过深度神经网络获取的；所述检测重现对象和检测新生对象是通过FasterR-CNN进行检测的；所述跟踪轨迹是通过KCF跟踪算法进行的。本专利技术的目的之二采用以下技术方案实现：一种行人多目标跟踪装置，包括：扩大检测模块，用于根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；失踪对象判定模块，用于若未检测到所述重现对象，则将所述丢失对象归为失踪对象；新生对象判断模块，用于检测新生对象，判断所述新生对象是否符合恢复条件；新生对象跟踪模块，用于若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。进一步地，所述扩大检测模块之前，所述行人多目标跟踪装置还包括遮挡对象跟踪模块和优质对象跟踪模块；所述遮挡对象跟踪模块用于将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象；所述优质对象跟踪模块用于将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象。本专利技术的目的之三采用以下技术方案实现：一种行人多目标跟踪装置，包括：处理器以及用于存储处理器可执行的指令的存储器；所述处理器被配置为：根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；若未检测到所述重现对象，则将所述丢失对象归为失踪对象；检测新生对象，判断所述新生对象是否符合恢复条件；若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。相比现有技术，本专利技术的有益效果在于：在多目标跟踪的关联过程提出分阶段、多状态关联框架。通过使用多个状态来管理跟踪对象的生命周期，解决了多个行人目标的跟踪通常存在的跟踪丢失、跟踪轨迹发生交换、跟踪轨迹不连续、跟踪漂移、无法较好的处理短时间遮挡和长时间遮挡的问题。附图说明图1为本专利技术实施例一的行人多目标跟踪方法的流程示意图；图2为一种的深度神经网络结构的结构示意图；图3为本专利技术实施例二的行人多目标跟踪方法的流程示意图；图4为本专利技术实施例三的行人多目标跟踪装置的结构示意图；图5为本专利技术实施例四的行人多目标跟踪装置的结构示意图。具体实施方式下面，结合附图以及具体实施方式，对本专利技术做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术表观特征之本文档来自技高网...

【技术保护点】
一种行人多目标跟踪方法，其特征在于，包括以下步骤：根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；若未检测到所述重现对象，则将所述丢失对象归为失踪对象；检测新生对象，判断所述新生对象是否符合恢复条件；若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。

【技术特征摘要】
1.一种行人多目标跟踪方法，其特征在于，包括以下步骤：根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象；若未检测到所述重现对象，则将所述丢失对象归为失踪对象；检测新生对象，判断所述新生对象是否符合恢复条件；若所述新生对象符合所述恢复条件，则将所述新生对象加入到所述失踪对象的跟踪轨迹。2.如权利要求1所述的行人多目标跟踪方法，其特征在于，所述根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象之后，还包括以下步骤：若检测到所述重现对象，则将所述重现对象加入到所述重现对象的跟踪轨迹。3.如权利要求1所述的行人多目标跟踪方法，其特征在于，所述根据丢失对象的位置信息扩大检测范围，并根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象之前，还包括以下步骤：将优质对象加入到所述优质对象的跟踪轨迹，所述优质对象为跟踪质量符合预设条件的所述跟踪对象；将遮挡对象加入到所述遮挡对象的跟踪轨迹，所述遮挡对象为符合遮挡条件的跟踪对象。4.如权利要求1-3中任一项所述的行人多目标跟踪方法，其特征在于，所述根据丢失对象的位置信息扩大检测范围，具体为：所述检测范围随所述丢失对象丢失时间的增大而增大，且所述检测范围不超过上限值。5.如权利要求1-3中任一项所述的行人多目标跟踪方法，其特征在于，所述根据所述丢失对象的表观特征在扩大后的所述检测范围内检测重现对象，具体为：判断在所述检测范围内检测到的所述跟踪对象与所述丢失对象的表观特征距离是否小于重现阈值，若是，则为检测到所述重现对象，且所述表观特征距离小于所述重现阈值的跟踪对象即为所述重现对象。6.如权利要求1-3中任一项所述的行人多目标跟踪方法，其特...

【专利技术属性】
技术研发人员：田强，徐鹏飞，夏晨阳，赵瑞，
申请(专利权)人：深圳市深网视界科技有限公司，
类型：发明
国别省市：广东,44