一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法技术

本发明专利技术公开了一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法，属于深度学习和计算机视觉技术领域。该方法步骤主要包括：S1.采取互联网搜索的方式查找相关图片。并且对原始图像进行图像增强处理，引入类别重组法对数据进行平衡处理；S2.对YOLOv5s进行改进，通过引入MobileNetv3

【技术实现步骤摘要】
一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法


[0001]本专利技术属于深度学习和计算机视觉
，具体涉及一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法。

技术介绍

[0002]摩托车作为普遍的交通工具，驾驶的安全问题备受关注，摩托车头盔的佩戴对自身的安全十分重要，人为监督的检查方式工作量大、成本高，还会引发许多交通事故，随着目标检测算法的精度和速度的提升，基于检测的多目标跟踪算法成为交通管理系统智能化的热门技术，可以有效地提高密集交通管理的效率和安全性。在监控视频下对摩托车头盔佩戴情况进行追踪需要达到实时性的要求，跟踪结果主要取决于目标检测器性能的好坏，在计算机视觉和人工智能领域,以卷积神经网络为代表的深度学习算法在目标检测、识别、跟踪等方面相比于传统机器学习算法表现出了更优良的性能。
[0003]针对本文的应用场景,在检测电动车驾驶人头盔佩戴情况时,不但需要较高的检测精度,也需要保证一定的检测速度。
[0004]目前，针对道路场景下电动车头盔佩戴检测的研究较少，不少研究是针对工地安全帽的佩戴检测，二者检测方法存在相似之处，但是道路场景下电动车头盔佩戴检测对检测速度的要求更高，传统的安全头盔检测方法如使用支持向量机作为分类器、通过梯度直方图进行特征提取等，存在主观性强、特征提取困难、泛化性差等问题，需要进一步改进，深度学习卷积神经网络在提取图像特征时不需要手动设计特征，给安全头盔的佩戴检测提供了一个新的方向。

技术实现思路

[0005]针对上述研究的问题，本专利技术的目的在于：为了解决在实际道路场景中对摩托车驾乘者头盔佩戴情况的检测与跟踪问题,提出一种改进的YOLOv5_DeepSORT摩托车头盔检测与跟踪算法。
[0006]为了解决上述技术问题，本专利技术采用的技术方案如下：
[0007]一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法，包括如下步骤：
[0008]S1：采取互联网搜索的方式在百度图片上搜索相关图片。并且对原始图像进行图像增强处理，引入类别重组法对数据进行平衡处理；
[0009]进一步的，所述S1的具体步骤为：
[0010]S1.1：通过网络搜索和视频截取来进行非机动车及其头盔数据集的制作，所搜集到的数据集包括不同的视角，不同的照明条件和不同的拥挤程度。
[0011]S1.2：通过平移、旋转、色彩对比度、亮度、以及加入噪声干扰模糊等处理，对数据集进行扩充，利用Labelimg软件，将检测对象分为3类：electric、helmet和no helmet，并对
目标对象进行详细标注。
[0012]S1.3：使用超分辨率重建方法对数据进行预处理，提出基于类金字塔图残差网络(PGRN)的图像超分辨率重建算法，类金字塔多空洞卷积(PMC)结构通过调整扩张率以及在不同支路设置不同金字塔层数的方式，获得几乎完全覆盖感受野的效果，加强算法捕获非局部相似特征的能力。
[0013]通过以上步骤可以解决安全头盔检测数据集缺失问题。
[0014]S2：对YOLOv5s进行改进，通过引入MobileNetv3
‑
Large对主干网络进行替换，搭建ML
‑
YOLOv5s网络；使用DIoU
‑
NMS替换NMS；将CBAM注意力机制融合到主干特征提取网络最后一层；将Transformer编码结构嵌入到C3模块当中，并将YOLOv5s特征融合网络中的C3替换为新的C3TR；
[0015]进一步的，所述S2的具体步骤为：
[0016]S2.1：将YOLOv5s的Backbone主干网络替换为MobileNetv3
‑
Large网络，来进行特征提取，MobileNetv3
‑
Large是一种轻量神经网络，特点是参数少、速度快、占用显存低，由深度可分离卷积代替原始卷积层进行提取特征，在减少参数量的同时，提高了运算速度，也大幅度降低了对算力的需求。
[0017]S2.2：在网络模型中用CBAM注意力机制替换SENet模块来优化目标检测精度，加强对检测目标的关注，从而降低由于环境复杂造成的检测精度下降的问题。CBAM包含2个独立的子模块，通道注意力模块和空间注意力模块，分别在通道和空间维度上进行Attention。给定一个特征图，CBAM模块会沿着两个独立的维度(通道和空间)依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。引入CBAM后，特征覆盖到了待识别物体的更多部位，而且最终判别物体的几率也更高。通过通道注意力机制，在通道维度上分别进行最大值池化与平均值池化，得到两个只有通道维度的向量，然后将这两个向量分别通过一个共享全连接层，两特征相加后经过sigmoid函数。得到通道注意力向量，通道注意力机制表达式如下所示：通过空间注意力机制，在空间维度上进行最大值池化和平均值池化，然后将这两个结果基于通道做连接操作。然后经过一个7
×
7卷积操作，降维为1个通道。再经过sigmoid生成空间注意力向量。空间注意力机制表达式如下所示：使用DIoU
‑
NMS替换NMS，改善目标拥挤时的漏检问题，增加检测的准确率。在使用NMS移除多余的检测框时，评判的标准是某个检测框与预测得分最高的检测框的交并比IoU，当IoU大于设定的阈值时，预测的检测框将被移除。但在目标密集的情况下，由于目标的相互遮挡检测框的重叠面积较大，经常会被NMS错误的移除，造成目标漏检。考虑到骑行人员的密集性，使用DIoU和NMS相结合的方法来改善漏检情况。将Trasformer编码结构嵌入到C3模块当中，得到新模块C3TR。
[0018]通过以上步骤得到最有效果的目标检测器。
[0019]S3：采用类似于Siamese构建多任务学习框架，在深度模型权重共享的前提下，实现多个目标任务的学习。网络模型的主体使用MobileNeXt替换DeepSORT中的重识别网络结构，保证了能实现跟踪任务同时，也使得跟踪速度维持在一定范围。
[0020]进一步的，所述S3的具体步骤为：
[0021]S3.1：采用类似于Siamese构建多任务学习框架，在深度模型权重共享的前提下，实现多个目标任务的学习。网络模型的主体使用MobileNeXt替换DeepSORT中的重识别网络构。将其后端平均池化层替换为全局平均池化层，以适应相似度学习，Multi
‑
task learning网络结构以双倍通道的方式将大小为192
×
192两张图片同时输入网络中，使用MobileNeXt网络进行特征提取，生成高维的特征向量，并经过GAP层，在新的空间中最终映射出来，最终得到相似度值。
[0022]S3.2：采用DeepSORT算法对非机动车进行追踪，DeepSORT算法是对SORT多目标追踪算法的改进，在此基础上利用卷积神经网络对外观信本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法，其特征在于，包括以下步骤：S1：采取互联网搜索的方式在百度图片上查找相关图片。并且对原始图像进行图像增强处理，引入类别重组法对数据进行平衡处理；S2：对YOLOv5s进行改进，通过引入MobileNetv3
‑
Large对主干网络进行替换，搭建ML
‑
YOLOv5s网络，使用DIoU
‑
NMS替换NMS，将CBAM注意力机制融合到主干特征提取网络最后一层，将Transformer编码结构嵌入到C3模块当中，将YOLOv5s特征融合网络中的C3模块替换为新的C3TR模块；S3：采用类似于Siamese构建多任务学习框架，在深度模型权重共享的前提下，实现多个目标任务的学习。网络模型的主体使用MobileNeXt替换DeepSORT中的重识别网络结构，保证了能实现跟踪任务同时，也使得跟踪速度维持在一定范围。2.根据权利要求1所述的一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法，其特征在于，所述步骤S1的具体步骤为：S1.1：通过网络搜索和视频截取来进行非机动车及其头盔数据集的制作，所搜集到的数据集包括不同的视角，不同的照明条件和不同的拥挤程度；S1.2：通过平移、旋转、色彩对比度、亮度、以及加入噪声干扰模糊等处理，对数据集进行扩充，利用Labelimg软件，将检测对象分为3类：electric、helmet和no helmet，并对目标对象进行详细标注；S1.3：使用超分辨率重建方法对数据进行预处理，提出基于类金字塔图残差网络(PGRN)的图像超分辨率重建算法，类金字塔多空洞卷积(PMC)结构通过调整扩张率以及在不同支路设置不同金字塔层数的方式，获得几乎完全覆盖感受野的效果，加强算法捕获非局部相似特征的能力。3.根据权利要求1所述的一种基于改进YOLOv5_DeepSORT算法的摩托车头盔检测与跟踪方法，其特征在于，所述步骤S2的具体步骤为：S2.1：将YOLOv5s的Backbone主干网络替换为MobileNetv3
‑
Large网络，来进行特征提取，MobileNetv3
‑
Large是一种轻量神经网络，特点是参数少、速度快、占用显存低，由深度可分离卷积代替原始卷积层提取特征，在减少参数量的同时，提高了运算速度，也大幅度降低了对算力的需求。S2.2：在网络模型中用CBAM注意力机制替换SENet模块来提升目标检测精度，加强对检测目标的关注，从而降低由于环境复杂造成的检测精度下降的问题。CBAM包含2个独立的子模块，通道注意力模块和空间注意力模块，分别在通道和空间维度上进行Attention，给定一个特征图，CBAM模块会沿着两个独立的维度(通道和空间)依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。引入...

【专利技术属性】
技术研发人员：孟庆松，赵永辉，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：