基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统技术方案

本发明专利技术公开了一种基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统，包括以下步骤：获取公路车辆视频数据；对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。本发明专利技术通过在车辆检测阶段引入注意力机制，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高了车辆检测任务的准确率。辆检测任务的准确率。辆检测任务的准确率。

【技术实现步骤摘要】
基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统


[0001]本专利技术属于视频目标识别跟踪
，尤其涉及一种基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]跟踪目标车辆是预测目标车辆轨迹的前提，基于视觉的车辆检测和跟踪也已成为无人驾驶车辆技术不可替代的一部分。因此快速、准确的跟踪算法在智能车辆技术中具有重要意义。
[0004]基于目标检测的视觉跟踪已成为目前环境感知的重要技术之一，基于检测的跟踪(Detection
‑
Based Tracking，DBT)可通过深度学习的方式提取深度特征来对各感兴趣目标进行稳定而准确的跟踪，以此解决了目标检测中信息无法连续的问题。国内外很多研究人员在这方面做了大量的实验研究，也取得了阶段性的成果。Kim等首次将深度特征应用于目标跟踪，利用卷积神经网络提取深度特征，并与多假设跟踪算法进行结合，最终将MOT15的成绩提升3％。Zhu等提出具有时间与空间双注意力的双匹配注意网络，加以使用效率极高的卷积跟踪器，对遮挡后恢复的目标进行重识别训练。李俊彦等利用YOLOv3目标检测算法和核相关滤波跟踪算法结合，实现了对交通车辆的长时跟踪，由于KCF算法自身只适用于单目标的弊端，其跟踪速度较低，实时性较差。周苏等使用YOLOv3目标检测算法和卡尔曼滤波跟踪算法结合，利用YOLOv3的中间层特征来计算外观特征相似度，结合马氏距离进行相似度计算来实现多目标关联，一定程度上解决了车辆遮挡引起轨迹错误的问题。
[0005]但是，由于公路车辆背景复杂，且车辆移动速度快等原因，在视频中出现的车辆目标容易产生运动模糊、车辆遮挡、目标尺寸变化等现象。这些现象导致车辆检测过程中会出现漏检或误检，或者在车辆跟踪时出现身份切换，影响最终的统计结果。

技术实现思路

[0006]为克服上述现有技术的不足，本专利技术提供了一种基于注意力机制和多目标跟踪的公路车辆跟踪方法及系统，通过在车辆检测阶段引入注意力机制，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高了车辆检测任务的准确率。
[0007]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0008]一种基于注意力机制和多目标跟踪的公路车辆跟踪方法，包括以下步骤：
[0009]获取公路车辆视频数据；
[0010]对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
[0011]进一步地，所述车辆检测模块的训练方法包括：
[0012]获取车辆检测训练数据集；
[0013]搭建YOLOv5s网络架构，并在主干网络上嵌入ECA注意力机制模块，得到基于嵌入注意力机制的YOLOv5s网络；
[0014]根据所述车辆检测训练数据，训练得到车辆检测模块。
[0015]进一步地，所述车辆跟踪模块训练方法包括：
[0016]获取车辆重识别训练数据集；
[0017]搭建DeepSort网络架构，所述DeepSort网络架构包括依次连接的基于卡尔曼滤波算法的位置预测器、重识别网络和基于匈牙利算法的特征匹配器；对于其中的重识别网络，对输入图像的大小进行修正，并优化损失函数；
[0018]根据所述车辆重识别训练数据，训练得到车辆跟踪模块。
[0019]进一步地，对输入图像的大小进行修正为与车辆形状相适应。
[0020]进一步地，优化后的损失函数L
vehicle_CL
为：
[0021]L
vehicle_CL
＝L
S
+λL
C
[0022]其中，λ表示融合关系，L
S
为Softmax损失函数，L
C
为中心损失函数。
[0023]进一步地，所述方法还包括：根据车辆检测和跟踪结果，对车流量进行计数。
[0024]进一步地，对车流量进行计数包括：设定虚拟检测线，当车辆的经过所述虚拟检测线时，则车流量加一；并且设定车道分界线，当有车辆经过所述虚拟检测线且位于所述车道分界线左侧时，下行车流量加一，当有车辆经过所述虚拟检测线且位于所述车道分界线右侧时，上行车流量加一。
[0025]一个或多个实施例提供了一种基于注意力机制和多目标跟踪的公路车辆跟踪系统，包括：
[0026]车辆视频获取模块，用于获取公路车辆视频数据；
[0027]车辆检测跟踪模块，用于对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。
[0028]一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的公路车辆跟踪方法。
[0029]一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的公路车辆跟踪方法。
[0030]以上一个或多个技术方案存在以下有益效果：
[0031]在车辆检测阶段引入注意力机制，对特征图的不同通道赋予不同的权重，引导网络更多关注交通车辆的可视区域，提高了车辆检测任务的准确率；
[0032]对多目标跟踪DeepSort算法进行了改进，引入中心损失函数和Softmax损失函数来对深度余弦度量进行优化，让车辆特征绕类内中心均匀分布，提高特征的分辨率，以此减小车辆身份切换次数，并对基准DeepSort算法的特征提取网络的网络结构进行改进，使其更适用于公路车辆深度外观特征的提取；
[0033]通过设置虚拟检测线和车道分界线，实现了车辆流量的上下行两个方向的准确统计；
[0034]通过采用引入注意力机制ECA的YOLOv5s目标检测模型，以及改进的DeepSort，既提高了目标检测的精度，也进一步提升了车辆跟踪的准确度，减少车辆ID切换的次数，而且保证了实时性。
附图说明
[0035]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0036]图1为本专利技术一个或多个实施例中基于注意力机制的公路车辆跟踪方法整体流程图；
[0037]图2为本专利技术一个或多个实施例中YOLOv5s的网络结构图；
[0038]图3为本专利技术一个或多个实施例中YOLOv5s主干网络融入ECA注意力机制模块图；
[0039]图4为本专利技术一个或多个实施例中部分车辆检测数据集展示图；
[0040]图5为本专利技术一个或多个实施例中部分车辆重识别数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制和多目标跟踪的公路车辆跟踪方法，其特征在于，包括以下步骤：获取公路车辆视频数据；对所述视频数据中的帧图像，基于预训练的车辆检测跟踪模型，对车辆进行检测和跟踪；其中，所述车辆检测跟踪模型包括车辆检测模块和车辆跟踪模块，所述车辆检测模块基于嵌入注意力机制的神经网络训练得到。2.如权利要求1所述的公路车辆跟踪方法，其特征在于，所述车辆检测模块的训练方法包括：获取车辆检测训练数据集；搭建YOLOv5s网络架构，并在主干网络上嵌入ECA注意力机制模块，得到基于嵌入注意力机制的YOLOv5s网络；根据所述车辆检测训练数据，训练得到车辆检测模块。3.如权利要求1所述的公路车辆跟踪方法，其特征在于，所述车辆跟踪模块训练方法包括：获取车辆重识别训练数据集；搭建DeepSort网络架构，所述DeepSort网络架构包括依次连接的基于卡尔曼滤波算法的位置预测器、重识别网络和基于匈牙利算法的特征匹配器；对于其中的重识别网络，对输入图像的大小进行修正，并优化损失函数；根据所述车辆重识别训练数据，训练得到车辆跟踪模块。4.如权利要求3所述的公路车辆跟踪方法，其特征在于，对输入图像的大小进行修正为与车辆形状相适应。5.如权利要求3所述的公路车辆跟踪方法，其特征在于，优化后的损失函数L
vehicle_CL
为：L
vehicle_CL
＝L
S
+λL
C

【专利技术属性】
技术研发人员：田新诚，李壮，马昕，宋锐，周乐来，
申请(专利权)人：山东大学，
类型：发明
国别省市：