基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质制造方法及图纸

本发明专利技术提供一种基于Darkflow‑DeepSort的多目标追踪检测方法、装置及存储介质，涉及智能决策技术领域，其中的方法包括以下步骤：S110、利用YOLOv3算法训练得到基于Darkflow的目标检测模型；S120、将检测图像输入训练好的基于Darkflow的目标检测模型，得到多个目标的表观特征；其中，所述检测图像基于对监控视频进行解码获得；S130、将多个目标的表观特征输入训练好的基于DeepSort的目标跟踪模型；所述目标跟踪模型通过多目标检测的数据集MOT16Challenge训练得到；S140、利用目标跟踪模型的卡尔曼滤波器对所述监控视频进行逐帧的数据关联处理，实现所述监控视频中的多目标追踪。利用上述发明专利技术能够提升多目标追踪检测速度，且在不损失检测准确度的情况下完成多目标追踪。

Multi-target tracking detection method, device and storage medium based on darkflow deepsert

The invention provides a multi-target tracking detection method, device and storage medium based on darkflow \u2011 deepsert, which relates to the field of intelligent decision-making technology. The method includes the following steps: S110, training the target detection model based on darkflow by using yolov3 algorithm; S120, inputting the detection image into the trained target detection model based on darkflow, and obtaining the table of multiple targets Visual features; wherein, the detection image is obtained by decoding the monitoring video; S130, inputting the apparent features of multiple targets into the trained target tracking model based on deepsert; the target tracking model is obtained by training the data set mot16challenge of multi-target detection; S140, frame by frame monitoring video is obtained by using the Kalman filter of the target tracking model The data association processing realizes the multi-target tracking in the monitoring video. The invention can improve the detection speed of multi-target tracking and complete the multi-target tracking without losing the detection accuracy.

【技术实现步骤摘要】
基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
本专利技术涉及智能决策
，更为具体地，涉及一种基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质。
技术介绍
视觉目标追踪的方法广泛应用于人机交互、无人驾驶等领域，基于相关滤波(CorrelationFilter)和卷积神经网络(CNN)的跟踪方法已经占据了目标跟踪领域的大半江山。在现存的多目标追踪方法中SORT方法(SIMPLEONLINEANDREALTIMETRACKING，简单的在线和实时跟踪)取得的较好的效果。这个方法最大的特点是高效地实现了目标检测并使用卡尔曼滤波去滤波以及Hungarian算法进行跟踪。而DeepSort是在SORT目标追踪基础上的改进，利用原始DeepSort训练高性能的的Faster-RCNN模型进行目标检测，相对于Sort算法减少了45％的IDswitch，并且结合了深度外观信息，对遮挡目标的追踪效果有了大大提升；升高了FP，达到了最先进的在线跟踪效果。但是，用此方法的DeepSort追踪时fps最高能达到15fps左右，但是平均fps仅仅能达到10左右，且实时追踪仅仅稳定在8fps左右。所以，亟需一种提升检测速度，且不损失检测准确度的多目标追踪检测方法。
技术实现思路
为了解决上述问题，本专利技术的目的是提供一种基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质。一种基于Darkflow-DeepSort的多目标追踪检测方法，应用于电子装置，包括以下步骤：S110、利用YOLOv3算法训练得到基于Darkflow的目标检测模型；S120、将检测图像输入训练好的基于Darkflow的目标检测模型，得到多个目标的表观特征；其中，所述检测图像基于对监控视频进行解码获得；S130、将多个目标的表观特征输入训练好的基于DeepSort的目标跟踪模型；所述目标跟踪模型通过多目标检测的数据集MOT16Challenge训练得到；S140、利用目标跟踪模型的卡尔曼滤波器对所述监控视频进行逐帧的数据关联处理，实现所述监控视频中的多目标追踪。进一步，优选的方法为，所述基于Darkflow的目标检测模型为Python模型，所述Python模型通过Cython将Darknet网络结构转换获得。进一步，优选的方法为，所述步骤S140具体包括：S210、获得多目标的运动匹配度以及表观特征匹配度；其中，所述运动匹配度通过对卡尔曼滤波器获得的多目标的运动相似性进行计算获得；所述表观特征匹配度通过将所述多个目标的表观特征计算获得；S220、利用多目标的运动匹配度和表观特征匹配度，通过对所述监控视频逐帧的数据关联处理，得到目标框的匹配度；S230、选取最终匹配度达到预设匹配参数的目标框作为目标追踪结果。进一步，优选的方法为，对于所述步骤S120中得到的多个目标的表观特征，筛选出现次数超过设定阈值的目标，对所述目标通过级联匹配赋予其优先权。进一步，优选的方法为，所述Darkflow的网络结构中卷积层的padding均为1，池化层均为最大池化。一种电子装置，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行基于Darkflow-DeepSort的多目标追踪检测方法的计算机程序，所述基于Darkflow-DeepSort的多目标追踪检测方法的计算机程序被所述处理器执行时实现如下步骤：S110、利用YOLOv3算法训练得到基于Darkflow的目标检测模型；S120、将检测图像输入训练好的基于Darkflow的目标检测模型，得到多个目标的表观特征；其中，所述检测图像基于对监控视频进行解码获得；S130、将多个目标的表观特征输入训练好的基于DeepSort的目标跟踪模型；所述目标跟踪模型通过多目标检测的数据集MOT16Challenge训练得到；S140、利用目标跟踪模型的卡尔曼滤波器对所述监控视频进行逐帧的数据关联处理，实现所述监控视频中的多目标追踪。进一步，优选的结构为，所述基于Darkflow的目标检测模型为Python模型，所述Python模型通过Cython将Darknet网络结构转换获得。进一步，优选的结构为，所述步骤140包括：S210、获得多目标的运动匹配度以及表观特征匹配度；其中，所述运动匹配度通过对卡尔曼滤波器获得的多目标的运动相似性进行计算获得；所述表观特征匹配度通过将所述多个目标的表观特征计算获得；S220、利用多目标的运动匹配度和表观特征匹配度，通过对所述监控视频逐帧的数据关联处理，得到目标框的匹配度；S230、选取最终匹配度达到预设匹配参数的目标框作为目标追踪结果。进一步，优选的结构为，所述Darkflow的网络结构中卷积层的padding均为1，池化层均为最大池化。根据本专利技术的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括基于Darkflow-DeepSort的多目标追踪检测程序，所述基于Darkflow-DeepSort的多目标追踪检测程序被处理器执行时上述基于Darkflow-DeepSort的多目标追踪检测方法中的步骤。利用上述基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质，可以实现的效果如下：1、本专利技术利用单假设追踪方法的卡尔曼滤波和逐帧的数据关联实现监控视频中的多目标追踪，并将YOLOv3算法和卡尔曼滤波结合在一起，既可以高准确率的追踪多目标，又可以避免多假设算法的随着量测数和目标数呈指数级增长带来的计算量庞大的弊端。2、利用目标检测图像模型将运动目标在采集的运动目标图像中定位，对于连续获得的多帧连续图像，也即对视频而言，通过在每帧图像中定位运动目标，从而实现对视频中运动目标行为的跟踪检测；由于YOLOv3算法处理图片的速度很快，在相同条件下，基于YOLOv3算法训练目标检测模型对图像处理速度要比现有卷积神经网络算法训练的模型(如比R-CNN快1000倍，比Fast-RCNN快100倍)的处理速度快。3、YOLOv3算法移植方便，可以在各个操作系统下实现，对终端硬件的配置要求相对较低，能够较容易的在轻量级设备上实现目标检测模型的运行。4、提取待追踪目标的表观特征进行最近邻匹配，改善了有遮挡情况下的目标追踪效果，同时，减少了目标ID跳变的问题。5、利用本专利技术的方法追踪视频中的目标时，在原始fps为25的视频中，不做抽帧处理的情况下，可以达到15fps，做每三帧抽帧处理时，最优可以达到20以上fps而且不会丢失跟踪目标；而对于实时摄像头追踪也能可以达到14fps以上，在保证准确度的基础上，将检测速度提升100倍。6、针对实时录播的应用场景，本专利技术可在相同的精度下实现对运动目标特征的准确定位和快速识别，提高在视频领域识别的速度和精度，减少录播本文档来自技高网...

【技术保护点】
1.一种基于Darkflow-DeepSort的多目标追踪检测方法，应用于电子装置，其特征在于，包括以下步骤：/nS110、利用YOLOv3算法训练得到基于Darkflow的目标检测模型；/nS120、将检测图像输入训练好的基于Darkflow的目标检测模型，得到多个目标的表观特征；其中，所述检测图像基于对监控视频进行解码获得；/nS130、将多个目标的表观特征输入训练好的基于DeepSort的目标跟踪模型；所述目标跟踪模型通过多目标检测的数据集MOT16Challenge训练得到；/nS140、利用目标跟踪模型的卡尔曼滤波器对所述监控视频进行逐帧的数据关联处理，实现所述监控视频中的多目标追踪。/n

【技术特征摘要】
1.一种基于Darkflow-DeepSort的多目标追踪检测方法，应用于电子装置，其特征在于，包括以下步骤：
S110、利用YOLOv3算法训练得到基于Darkflow的目标检测模型；
S120、将检测图像输入训练好的基于Darkflow的目标检测模型，得到多个目标的表观特征；其中，所述检测图像基于对监控视频进行解码获得；
S130、将多个目标的表观特征输入训练好的基于DeepSort的目标跟踪模型；所述目标跟踪模型通过多目标检测的数据集MOT16Challenge训练得到；
S140、利用目标跟踪模型的卡尔曼滤波器对所述监控视频进行逐帧的数据关联处理，实现所述监控视频中的多目标追踪。


2.根据权利要求1所述的基于Darkflow-DeepSort的多目标追踪检测方法，其特征在于，
所述基于Darkflow的目标检测模型为Python模型，所述Python模型通过Cython将Darknet网络结构转换获得。


3.根据权利要求1所述的基于Darkflow-DeepSort的多目标追踪检测方法，其特征在于，所述步骤140包括：
S210、获得多目标的运动匹配度以及表观特征匹配度；其中，所述运动匹配度通过对卡尔曼滤波器获得的多目标的运动相似性进行计算获得；所述表观特征匹配度通过将所述多个目标的表观特征计算获得；
S220、利用多目标的运动匹配度和表观特征匹配度，通过对所述监控视频逐帧的数据关联处理，得到的IOU匹配值以及表观特征匹配值，通过IOU匹配值以及表观特征匹配值计算目标框的最终匹配度；
S230、选取最终匹配度达到预设匹配参数的目标框作为目标追踪结果。


4.根据权利要求1所述的基于Darkflow-DeepSort的多目标追踪检测方法，其特征在于，对于所述步骤S120中得到的多个目标的表观特征，筛选出现次数超过设定阈值的目标，对所述目标通过级联匹配赋予其优先权。


5.根据权利要求2所述的基于Darkflow-DeepSort的多目标追踪检测方法，其特征在于，
所述Darkflow的网络结构中卷积层的padding均为1，池化层均为最大池化。


6.一种电子装置，其特征在于包括：存储器、...

【专利技术属性】
技术研发人员：王义文，郑权，王健宗，曹靖康，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44