一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法、设备和存储介质技术

本发明专利技术公开了一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法，包括以下步骤：采集标注头肩的检测和分割数据；训练基于YOLOv5的多任务检测器和分割器；获取监控视频流；对k

【技术实现步骤摘要】
一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法、设备和存储介质


[0001]本专利技术涉及云
，尤其涉及一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法、设备和存储介质。

技术介绍

[0002]一般在智慧小区、智慧工地和智慧城市等这些新型的AI概念场景，一套智能视频分析系统的部署都需要有强大的算力支撑，服务器的解决方案虽然有足够的算力，但基于成本考虑和对多路视频的编解码能力，目前大都使用的都是基于边缘计算的部署方案，这对边缘计算芯片的算力和算法的轻量化提出了更高的要求。其中人员在岗、区域入侵等通用算法大多基于头肩的检测和跟踪实现，而常见的跟踪算法在边缘计算平台的耗时都相对较大，难以对视频流进行实时分析。

技术实现思路

[0003]本专利技术提供了一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法、设备和存储介质，具备减小DeepSORT使用重识别的特征模型在目标的匹配和更新上的时间消耗，减小单张多目标的跟踪耗时的优点，解决了原有的跟踪算法在边缘计算平台的耗时较大的问题。
[0004]根据本申请实施例提供的一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法，包括如下步骤：
[0005]采集标注头肩的检测和分割数据；
[0006]训练基于YOLOv5的多任务检测器和分割器；
[0007]获取监控视频流；
[0008]对k
‑
1帧卡尔曼滤波预测；
[0009]对k帧头肩目标检测和分割；
[0010]获取第k帧的Bboxes和Tracks特征向量；
[0011]IOU匹配和特征向量匹配；
[0012]若匹配上，则更新k帧轨迹，进行输出，同时返回至获取监控视频流；
[0013]若匹配不上则分配新的ID和轨迹，随后更新k帧轨迹。
[0014]优选地，包括如下步骤：
[0015]监控相机采集抽取视频帧数据；
[0016]对抽帧图片进行头肩目标的矩形框标注；
[0017]对标注好的矩形框内的头肩区域进行分割区域标注，并对单帧分割数据进行整合；
[0018]训练多支路多任务的YOLOv5检测和分割模型；
[0019]获取视频流数据，保证视频流的帧数大于2帧；
[0020]对k
‑
1帧轨迹进行卡尔曼滤波，预测第k帧的轨迹Tracks；
[0021]对第k帧的头肩目标进行检测和分割，得到BBoxes和heatmap；
[0022]根据BBoxes获取对应heatmap上的特征，对当前帧的BBoxes和Tracks进行8*8的平均池化得到64维特征向量；
[0023]将BBoxes与Tracks的特征向量进行IOU和COS距离匹配；
[0024]更新当前第k帧的轨迹，包含目标的位置信息轨迹和ID，并进入到下一视频帧；
[0025]重复获取视频流数据至更新当前第k帧的轨迹的步骤，生命周期为30帧，对超过30帧的中断目标进行ID剔除。
[0026]为了解决上述技术问题，本专利技术提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现如上述的基于改进的YOLOv5和DeepSORT的头肩跟踪方法的步骤。
[0027]为了解决上述技术问题，本专利技术提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于改进的YOLOv5和DeepSORT的头肩跟踪方法的步骤。
[0028]本申请实施例提供的技术方案可以包括以下有益效果：
[0029]本专利技术基于YOLOv5的目标检测和DeepSORT的跟踪算法进行改进，在多目标的跟踪上匹配海思3559a平台的算力需求，改进后的模型对1080p的视频处理基本能做到实时多目标跟踪。本专利技术改进了YOLOv5目标检测端的算法，融合了目标检测任务和目标分割的任务，在同个检测模型中既能得到目标的位置又能得到目标相同大小的特征图，并通过共享多个目标头肩特征的方式，减小DeepSORT使用重识别的特征模型在目标的匹配和更新上的时间消耗，从而大幅度减小单张多目标的跟踪耗时问题。
附图说明
[0030]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1为本专利技术现有技术YOLOv5和DeepSORT跟踪算法的流程示意图；
[0032]图2为本专利技术通过YOLOv5改进后模型的示意图；
[0033]图3为本专利技术heatmap目标特征池化示意图；
[0034]图4为本专利技术一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法的流程示意图。
具体实施方式
[0035]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0036]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0037]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是
指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0038]请参阅图1，传统的YOLOv5+DeepSORT跟踪算法，大概分为预测(Tracks)、观测(检测+目标匹配)、更新，在预测阶段，通过卡尔曼滤波预测出下一帧所有目标的Tracks，得到形成一个Tracks的轨迹，在观测阶段，YOLOv5对当前帧的所有目标进行一次检测，得到所有的BBoxes，得到当前的BBoxes然后与经过卡尔曼滤波之后预测的Tracks进行匹配，匹配上的BBoxes对Tracks的轨迹和ID进行更新。
[0039]请参阅图2，在本专利技术中，通过对YOLOv5进行改造和对观测阶段的目标匹配方法进行改造来提升头肩跟踪算法在海思边缘平台的实时性，具体在YOLOv5标注头肩检测框的同时，将头肩框内的头肩区域标记出来，最后整合到同一张图，所有的头肩区域构成一个头肩分割数据集，在YOLOv5的检测分支旁增加一条分割支路，对头肩区域进行分割检测的监督，得到与原输入图片同等大小的heatmap。
[0040]请参阅图3，根据k
‑
1帧(k>＝2)中的BBoxes位置，采用卡尔曼滤波预测当前k帧的Tracks，对当前k帧进行YOLOv5两条支路的前向计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法，其特征在于，包括如下步骤：采集标注头肩的检测和分割数据；训练基于YOLOv5的多任务检测器和分割器；获取监控视频流；对k
‑
1帧卡尔曼滤波预测；对k帧头肩目标检测和分割；获取第k帧的Bboxes和Tracks特征向量；IOU匹配和特征向量匹配；若匹配上，则更新k帧轨迹，进行输出，同时返回至获取监控视频流；若匹配不上则分配新的ID和轨迹，随后更新k帧轨迹。2.根据权利要求1所述的一种基于改进的YOLOv5和DeepSORT的头肩跟踪方法，其特征在于，包括如下步骤：监控相机采集抽取视频帧数据；对抽帧图片进行头肩目标的矩形框标注；对标注好的矩形框内的头肩区域进行分割区域标注，并对单帧分割数据进行整合；训练多支路多任务的YOLOv5检测和分割模型；获取视频流数据，保证视频流的帧数大于2帧；对k
‑
1帧轨迹进行卡尔曼滤波，预测第k帧...

【专利技术属性】
技术研发人员：胡胤，刘毅，汤园生，陈志祥，刘健，
申请(专利权)人：深圳市瑞驰信息技术有限公司，
类型：发明
国别省市：