一种基于DeepSort和DeepEMD的检测跟踪方法和系统技术方案

本发明专利技术公开了一种基于DeepSort和DeepEMD的检测跟踪方法和系统，包括以下步骤：采用预训练的检测器获取监控视频中当前帧视图中的目标，得到多个检测目标的位置信息和置信度值；追踪目标的轨迹处理和运动状态估计，使用卡尔曼滤波器对每个跟踪器track预测追踪目标在当前帧的位置；数据关联和级联匹配，对所述步骤一中的检测目标和所述步骤二中的预测目标进行数据关联和级联匹配处理；更新跟踪器和卡尔曼滤波器，输出结果，该系统包括：检测单元、预测单元以及数据关联和匹配单元。本发明专利技术整个检测跟踪过程能够很好地解决现有的多目标跟踪技术不能使跟踪速度和跟踪精度同时保持高水准的问题，并能有效改善目标遮挡情况下的跟踪问题。的跟踪问题。的跟踪问题。

【技术实现步骤摘要】
一种基于DeepSort和DeepEMD的检测跟踪方法和系统


[0001]本专利技术涉及计算机视觉的
，尤其涉及一种基于DeepSort和 DeepEMD的检测跟踪方法和系统。

技术介绍

[0002]Tracking
‑
by
‑
Detections是多目标跟踪算法的主流方式，大部分算法都采 用流网络公式和概率图形模型的方式，将处理整个跟踪过程看作全局优化问题， 但这些算法往往基于逐帧的数据关联，计算代价较大且复杂度高，不适合实时 高效的跟踪任务。SORT算法是一种注重简单、有效算法的多目标跟踪的实用 方法。SORT算法在传统算法的基础上，通过卡尔曼滤波处理每帧的关联性，再 通过匈牙利算法进行关联度量，使其检测性能提升了几十倍。但该方法存在ID 频繁切换的问题，对于遮挡严重、运动不稳的目标跟踪效果却不理想。
[0003]DeepSort在SORT目标跟踪的基础上引入了外观特征提取网络，通过结合 运动信息和外观信息实现关联度量，在一定程度上增加了目标丢失和遮挡情况 下跟踪挡的鲁棒性，易于实现且高效，能够适用于在线场景。DeepSort算法中 的外观信息关联采用的是一个简单的CNN残差网络，主要提取目标的全局外观 信息，再通过余弦距离进行相似度关联计算，对于当目标被部分遮挡时，背景 信息和目标的外观信息对于外观匹配的影响是相同的，此时的注意力应该集中 在目标局部信息上。
[0004]基于以上几个问题，亟需一种同时均衡速度和精度，又能很好解决目标遮 挡情况下的检测跟踪方法。

技术实现思路

[0005]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较 佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或 省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略 不能用于限制本专利技术的范围。
[0006]鉴于上述现有一种基于DeepSort和DeepEMD的检测跟踪方法和系统存在 的问题，提出了本专利技术。
[0007]因此，本专利技术目的是提供一种基于DeepSort和DeepEMD的检测跟踪方法 和系统，其主要目的在于解决现有的多目标跟踪技术不能使跟踪速度和跟踪精 度同时保持高水准的问题，并能有效改善目标遮挡情况下的跟踪问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：
[0009]一种基于DeepSort和DeepEMD的检测跟踪方法，包括以下步骤：
[0010]步骤一：采用预训练的检测器获取监控视频中当前帧视图中的目标，得到 多个检测目标的位置信息和置信度值；
[0011]步骤二：追踪目标的轨迹处理和运动状态估计，使用卡尔曼滤波器对每个 跟踪器
track预测追踪目标在当前帧的位置；
[0012]步骤三：数据关联和级联匹配，对所述步骤一中的检测目标和所述步骤二 中的预测目标进行数据关联和级联匹配处理；
[0013]步骤四：更新跟踪器和卡尔曼滤波器，输出匹配计算结果。
[0014]作为本专利技术所述一种基于DeepSort和DeepEMD的检测跟踪方法的一种优 选方案，其中：所述步骤一过程中，检测器采用预先训练好的Yolov5s检测器， 所述Yolov5s网络结构主要包括以下几部分：输入端、Backbone主干网络、Neck 网络和预测网络。
[0015]作为本专利技术所述一种基于DeepSort和DeepEMD的检测跟踪方法的一种优 选方案，其中：所述Yolov5s网络结构输入端主要是对所述视频监控图像进行 预处理操作；Backbone主干网络由Focus结构和CSP结构组合而成，用于获取 图像的特征图；Neck网络由FPN结构与PAN结构组合而成，用于对所述Backbone 主干网络获取的图像特征进行混合和组合，并将经过处理后的特征图像传送给 预测网络；预测网络，采用GIOU_Loss作为Boundingbox的损失函数，使用 加权NMS的方式对锚框进行筛选，用于对图像特征进行预测，获得边界框并预 测类别。
[0016]作为本专利技术所述一种基于DeepSort和DeepEMD的检测跟踪方法的一种优 选方案，其中：所述步骤二过程中，使用一个八维状态空间描 述运动状态，其中，(u,v)是目标框的中心点坐标，r是目标框的长宽比，h为目 标框的高度，表示对应目标框的速度信息。
[0017]作为本专利技术所述一种基于DeepSort和DeepEMD的检测跟踪方法的一种优 选方案，其中：所述步骤三过程中，数据关联包括运动信息的关联匹配和目标 外观信息的关联匹配，所述运动信息的关联是采用马氏距离度量追踪目标预测 结果和检测结果之间的距离，所述目标外观信息的关联是采用基于DeepEMD训 练的网络模型进行目标的深度外观描述，并采用陆地移动距离度量方法进行图 像间的相似性度量。
[0018]作为本专利技术所述一种基于DeepSort和DeepEMD的检测跟踪方法的一种优 选方案，其中：所述步骤四过程中，更新原有跟踪器的状态和卡尔曼滤波器参 数，为新确认的追踪目标分配新的跟踪器，为新增加的未匹配成功的检测目标 分配新的ID信息，删除匹配失败超出生命周期阈值的追踪目标及其跟踪器。
[0019]作为本专利技术所述一种基于DeepSort和DeepEMD的检测跟踪方法的一种优 选方案，其中：对于每个追踪目标，记录其自上一次检测结果与跟踪预测结果 匹配之后的帧数为a
k
，若该目标的检测结果与跟踪预测结果正确关联后，则将 a
k
重置为0；同时设置一个生命周期的阈值A
max
，若a
k
超过A
max
，则认为该追 踪目标离开了追踪区域，则将其状态设为“删除”。
[0020]一种应用于上述的基于DeepSort和DeepEMD的检测跟踪方法的检测跟踪 系统，该系统包括：检测单元、预测单元以及数据关联和匹配单元；
[0021]其中，所述检测单元用于采用预训练的检测器获取监控视频中当前帧视图 中的目标，得到多个检测目标的位置信息和置信度值；
[0022]所述预测单元用于跟踪目标的轨迹处理和运动状态估计，使用卡尔曼滤波 器对每个跟踪器track预测追踪目标在当前帧的位置；
[0023]所述数据关联和匹配单元用于对检测单元中的检测目标和预测单元中的 预测目标进行数据关联和级联匹配处理；
[0024]所述更新单元用于更新跟踪器和卡尔曼滤波器，输出匹配计算结果。
[0025]本专利技术的有益效果：首先采用预训练的检测器获取监控视频中当前帧视图 中的目标，得到多个检测目标的位置信息和置信度值；然后进行追踪目标的轨 迹处理和运动状态估计，使用卡尔曼滤波器对每个跟踪器track预测追踪目标 在当前帧的位置；并结合运动信息的关联匹配和目标外观信息的关联匹配，对 检测目标和预测目标进行数据关联和级联匹配处理；最后更新跟踪器和卡尔曼 滤波器，输出匹配计算结果。整个检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DeepSort和DeepEMD的检测跟踪方法，其特征在于，包括以下步骤：步骤一：采用预训练的检测器获取监控视频中当前帧视图中的目标，得到多个检测目标的位置信息和置信度值；步骤二：追踪目标的轨迹处理和运动状态估计，使用卡尔曼滤波器对每个跟踪器track预测追踪目标在当前帧的位置；步骤三：数据关联和级联匹配，对所述步骤一中的检测目标和所述步骤二中的预测目标进行数据关联和级联匹配处理；步骤四：更新跟踪器和卡尔曼滤波器，输出匹配计算结果。2.根据权利要求1所述的一种基于DeepSort和DeepEMD的检测跟踪方法，其特征在于：所述步骤一过程中，检测器采用预先训练好的Yolov5s检测器，所述Yolov5s网络结构主要包括以下几部分：输入端、Backbone主干网络、Neck网络和预测网络。3.根据权利要求2所述的一种基于DeepSort和DeepEMD的检测跟踪方法，其特征在于：所述Yolov5s网络结构输入端主要是对所述视频监控图像进行预处理操作；Backbone主干网络由Focus结构和CSP结构组合而成，用于获取图像的特征图；Neck网络由FPN结构与PAN结构组合而成，用于对所述Backbone主干网络获取的图像特征进行混合和组合，并将经过处理后的特征图像传送给预测网络；预测网络，采用GIOU_Loss作为Bounding box的损失函数，使用加权NMS的方式对锚框进行筛选，用于对图像特征进行预测，获得边界框并预测类别。4.根据权利要求3所述的一种基于DeepSort和DeepEMD的检测跟踪方法，其特征在于：所述步骤二过程中，使用一个八维状态空间(u,v,r,h,)描述运动状态，其中，(u,v)是目标框的中心点坐标，r是目标框的长宽比，h为目标框的高度，表示对应目标框的速度信息。5.根据权利要求4所述的一种基于DeepSort和DeepEMD的检测跟踪方法，其特征在于：所述步骤三过程中，数据...

【专利技术属性】
技术研发人员：邢卫国，鞠蓉，吴宇飞，
申请(专利权)人：南京华康智能科技有限公司，
类型：发明
国别省市：