一种面向行人的长时间多目标跟踪方法技术

本发明专利技术公开了一种面向行人的长时间多目标跟踪方法，属于多目标跟踪算法领域，具体涉及行人长时间跟踪算法技术领域，以解决如何对长时间遮挡的目标实现正确的目标关联，包括如下步骤：数据预处理、目标检测以及目标跟踪，其中，目标跟踪包括特征提取、特征度量、目标关联、轨迹核查以及轨迹更新。通过数据预处理，实现了原始数据的接收以及图像的处理，之后通过目标检测，获得当前接收图像所涉及的行人信息，在通过目标跟踪，对连续图像序列涉及到的行人，实现目标关联，从而产生跟踪轨迹，该算法在考虑多种复杂情况下，通过二次比对的方式实现对长期遮挡目标的正确关联，提高了算法的鲁棒性，同时提高了目标关联的准确率。

【技术实现步骤摘要】
一种面向行人的长时间多目标跟踪方法
一种面向行人的长时间多目标跟踪方法，本专利技术属于多目标跟踪算法领域，具体涉及行人长时间跟踪算法

技术介绍
多目标跟踪主要是针对连续的图像序列，根据目标检测算法得到图像中存在的目标，接着调用目标跟踪算法对连续图像中运动的目标进行正确的关联。多目标跟踪算法主要是采用基于检测的多目标跟踪的技术路线。多目标跟踪算法中的目标跟踪部分主要含有外观模型与运动模型，外观模型主要是对检测算法得到的目标进行外观特征提取，运动模型主要是捕获目标的运动行为，学习目标运动的方式，从而预估目标在后续帧中的位置信息。传统的多目标跟踪算法是根据单一特征在连续图像中实现多目标之间的关联。然后如果仅考虑外观特征，可能出现相似外观的目标进行关联的现象；如果仅考虑运动特征，可能出现跟踪目标漂移的现象。因此在复杂的环境中采用传统的多目标跟踪算法会造成算法性能下降。由于跟踪的场景具有复杂性，会出现目标长时间遮挡的现象，如何在复杂环境中对长期遮挡的目标实现正确关联极其重要。
技术实现思路
本专利技术的目的在于：提供本文档来自技高网...

【技术保护点】
1.一种面向行人的长时间多目标跟踪方法，其特征在于，包括如下步骤：/n步骤1、接收远程监控的视频数据，进行数据预处理，将处理好后的图像image得存放在缓存buffer中，得到视频数据date；/n步骤2、读取视频数据date，对读取的图像进行目标检测，得到图像所涉及的所有行人的位置信息，将检测的结果存储到txt文件中；/n步骤3、对txt文件中记录的行人的位置信息进行目标跟踪处理，提取外观特征；/n步骤4、用LSTM网络对已存在轨迹集合中的轨迹提取运动特征；/n步骤5、对外观特征和运动特征进行特征度量；/n步骤6、根据度量结果，采用匈牙利算法进行目标关联，生成如下轨迹情况，情况b，图像帧中出...

【技术特征摘要】
1.一种面向行人的长时间多目标跟踪方法，其特征在于，包括如下步骤：
步骤1、接收远程监控的视频数据，进行数据预处理，将处理好后的图像image得存放在缓存buffer中，得到视频数据date；
步骤2、读取视频数据date，对读取的图像进行目标检测，得到图像所涉及的所有行人的位置信息，将检测的结果存储到txt文件中；
步骤3、对txt文件中记录的行人的位置信息进行目标跟踪处理，提取外观特征；
步骤4、用LSTM网络对已存在轨迹集合中的轨迹提取运动特征；
步骤5、对外观特征和运动特征进行特征度量；
步骤6、根据度量结果，采用匈牙利算法进行目标关联，生成如下轨迹情况，情况b，图像帧中出现新的目标，将其初始化为暂定轨迹，把该条轨迹添加到新增已确认轨迹集合add_ct；情况c，暂定轨迹集合tentative_t中出现状态转换为已确认轨迹，即暂定轨迹存在连续3帧能够关联到目标对象，把该条轨迹添加到新增已确认轨迹集合add_ct；
步骤7、对步骤6生成的轨迹进行核查；
步骤8、根据步骤6和步骤7的结果对轨迹更新，更新结束后，返回步骤2，接着对后续视频帧进行多目标跟踪，直到没有接收到监控视频数据。


2.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，步骤1中，使用Socket实现系统与远程摄像头连接，接收远程监控的视频数据，数据预处理具体为：每间隔5帧图像，本地系统接收1帧图像，将该图像调整成224×224。


3.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，读取buffer中的视频数据date，对读取的图像使用YOLOv3算法实现目标检测，得到当前图像所涉及所有行人的位置信息，即＜id，＜x，y，w，h＞＞，其中＜x，y，w，h＞为行人检测框左上角的坐标，将检测的结果存储在txt文件中。


4.根据权利要求1所述的一种面向行人的长时间多目标跟踪方法，其特征在于，根据txt文件记录行人在图像中左上角的坐标，对该图像进行剪裁，得到单一的行人图像，存储于目标集合O中，接着遍历目标集合O中的行人目标，并且使用VGG16网络对该遍历的目标提取外观特征，得到维度为1×128的外观特征向量，把所有目标的外观特征存储到目标外观特征集合，即Fdet＝{fdet1，fdet2，...，fdetn}。


5.根据权利要求4所述的一种面向行人的长时间多目标跟踪方法，其特征在于，步骤4中，已存在的轨迹集合包括已确认轨迹、暂定轨迹、暂时删除暂定轨迹、暂时删除已确认轨迹，永久删除轨迹，对已确认轨迹集合confirm_t＝{ct1，ct2，...，ctn}以及暂定轨迹集合tentative_t＝{tt1，tt2，...，ttn}提取运动特征，把集合中的每条轨迹的后续16个坐标点作为LSTM网络的输入，从而得到每条轨迹对当前时刻的坐标预估值＜x′，y′，w′，h′＞。


6.根据权利要求5所述的一种面向行人的长时间多目标跟踪方法，其特征在于，根据Fdet＝{fdet1，fdet2，...，fdetn}，由于轨迹含有外观特征f1这一属性，轨迹外观特征的获取是直接读取该属性值，将轨迹外观特征与Fdet中记录当前目标的外观特征通过公式(2)进行比较；



其中，f1为轨迹外观特征，fdet为目标外观特征，当d1值大于等于0.5时，表明两者的外观相似，则继续进行后续操作，反之，将该值丢弃，不对两者进行后续操作，根据满足外观特征度量结果条件得到轨迹目标对，即＜track，object＞，接着对其进行运动特征度量，根据轨迹track的坐标预估值即坐标预估值＜x′，y′，w′，h′＞与object的位置信息进行比较，其中，每个目标的坐标信...

【专利技术属性】
技术研发人员：田玲，金琪，段贵多，罗光春，李诗琪，高向孚，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51