一种基于深度学习的驾驶员分心行为检测方法技术

本发明专利技术属于交通安全技术领域，公开了一种基于深度学习的驾驶员分心驾驶行为检测方法。构建了一个驾驶员分心行为检测网络，在原有的YOLOv5网络的骨干网络中增加了一组模块化结构，这些模块对输入特征图执行多个不同的卷积操作，以增强网络提取特征的能力。将Swin Transformer模块引入到特征融合网络的C3模块中，取代了原有的Bottleneck模块，Swin Transformer模块降低了计算量，提高了网络的运行速度。通过采用滑动窗口注意力机制来增加感受野，使得模型在特征提取过程中能够从整个特征图中感知全局信息。最后对特征融合网络的连接进行修改，增强了模型的特征融合能力。本发明专利技术显著提高了驾驶员分心驾驶行为检测的准确性，可辅助驾驶员驾驶，减少交通事故的发生。减少交通事故的发生。减少交通事故的发生。

【技术实现步骤摘要】
一种基于深度学习的驾驶员分心行为检测方法


[0001]本专利技术属于交通安全
，具体涉及一种基于深度学习的驾驶员分心行为检测方法。

技术介绍

[0002]近年来，随着我国工业水平和交通运输行业水平的不断提高，社会经济发展迅速。与此同时，汽车的数量也与日俱增。交通工具在给人们交通带来便利的同时，交通事故越来越频繁，在众多交通事故中，驾驶员的分心驾驶是造成交通事故的重要原因之一。因此，检测驾驶员的分心驾驶行为，并实时做出提醒具有重大的意义。
[0003]目前，针对驾驶员分心行为检测这一任务，主要采用四种方法：基于驾驶操作行为的检测方法、基于生理信号的检测方法、基于图像处理的检测方法和基于深度学习的检测方法。基于驾驶操作行为的检测方法主要利用汽车行驶数据来监测驾驶员的驾驶行为，包括车辆速度、方向盘转角和车辆横纵位移等。然而，这种方法需要在车辆上安装多种数据采集传感器，成本较高。此外，该方法容易受到驾驶环境和车辆类型等外在因素的影响，可能导致误判的情况发生。基于生理信号的检测方法主要通过给驾驶员佩戴生理信号采集装置，来获取驾驶员的生理信息，如脑电图、心电图和肌电图等，从而实现对分心行为的检测。然而，这种方法需要驾驶员佩戴生理信号装置，会给驾驶员造成不适，对干扰驾驶员的正常驾驶。基于图像处理的检测方法主要通过分析车载摄像头采集的驾驶员面部特征或身体姿态特征来监测驾驶员的驾驶行为。然而，该方法在获取驾驶员面部信息时容易受到复杂的光照条件等外部环境因素的影响，因此具有一定的局限性。此外，该方法通常依赖于手动提取的纹理或形状特征来提取驾驶员图像特征，而往往难以捕捉复杂、高级的特征，导致检测性能下降。
[0004]基于深度学习的驾驶员分心行为识别方法具备广泛的优势。但是，现有的深度学习方法，实时性不高、网络参数较大，普遍难以应用到资源有限的设备中，并且对不同尺寸的目标适应能力弱，对小尺寸目标容易导致误检或者漏检。

技术实现思路

[0005]为了克服相关技术中存在的问题，本专利技术提供了一种基于深度学习的驾驶员分心行为检测方法，构建一个驾驶员分心行为检测网络，能够准确的识别出驾驶员的分心驾驶行为。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]一种基于深度学习的驾驶员分心行为检测方法，包括以下步骤，且按以下步骤顺序执行；
[0008]步骤S1，数据集准备，收集包含驾驶员分心驾驶行为的图像，并进行标注；
[0009]步骤S2，图像预处理，对收集到的图像进行一系列的操作和变换，以改善图像的质量，并为网络提供更好的输入数据；
[0010]步骤S3，构建一个驾驶员分心行为检测网络，在原有的YOLOv5网络的骨干中增加模块化结构，将Swin Transformer模块引入到特征融合网络的C3模块中，取代了原有的Bottleneck模块，并对特征融合网络连接进行修改；
[0011]步骤S4，设计联合损失函数，训练模型，把准备的训练集输入到驾驶员行为检测网络中进行训练；
[0012]步骤S5，网络测试，把准备的测试集输入到网络中进行识别、得到结果。在步骤S1中，获取驾驶员分心驾驶行为的图像，具体包括以下子步骤：
[0013]S101:采集驾驶员分心驾驶图像。在驾驶舱内，以驾驶员正前方、顶部和右部三个视角分别放置Kinect可见光相机，拍摄驾驶员的分心驾驶行为。我们将采集到的图片进行筛选，分心行为不明显的图片进行删除。
[0014]S102：驾驶行为图像标注。将得到的图片进行分类，相同驾驶行为划分到同一类中。使用LabelImg对得到的图片进行标注。其中，将打电话命名为“Phone”,吸烟命名为“Smoking”,喝水定义为“Drinking”,吃东西定位为“Eating”。最后得到图片4000张，训练集、测试集的比例约为4：1。
[0015]在步骤S2中，对收集到的驾驶员图像进行预处理，具体包括以下子步骤：
[0016]S201:对收集到的图像大小进行裁剪。为了有效地利用图像数据，使输入图像的大小与输入层大小匹配，使模型的训练和推理过程更高效。将步骤S1中得到的图片裁剪成640
×
640的图像。
[0017]S202：利用马赛克数据增强技术对图像进行模糊处理，模糊图像中的敏感信息。这样可以在保持图像整体结构的同时，对特定区域进行像素化处理，以增强数据的多样性和泛化能力，防止过拟合。
[0018]S203:利用自适应锚框计算技术，生成适合不同尺度和纵横比的锚框。通过在不同层次的特征图上生成不同尺度的锚框，可以提高检测算法对于尺度变化的鲁棒性。通过生成适应不同纵横比的锚框，以处理各种形状的目标。这样可以增加驾驶员行为检测网络对目标形状变化的适应性。
[0019]在步骤S3中，构建一个驾驶员分心行为检测网络。为了实现对小尺寸目标的准确检测，在原有的YOLOv5骨干网络SPPF结构之后增加了一组模块化结构，增强了特征提取能力。这些模块对输入特征映射执行多个不同的卷积操作，以增强网络提取特征的能力。通过多尺度感受野感知不同的特征信息，可以增强网络提取特征的能力，特别是对小尺寸物体的检测。给定输入特征信息X后，模块输出信息为Y，计算公式如下：
[0020]Y＝X1+X2+X3+X4+X5+X6[0021]其中，变量X1～X6的计算公式如下：
[0022][0023]其中，缩写cv代表不同的卷积运算，符号“+”代表将这些变量连接起来。
[0024]在步骤S3中，构建一个驾驶员分心行为检测网络。将Swin Transformer模块引入到特征融合网络的C3模块中，取代了Bottleneck模块。这样增强了模型对全局信息的感知能力。Swin Transformer的基本结构由三个模块组成，分别是Patch Embedding、Swin Transformer Block和Patch Merging。Swin Transformer Block是其主要模块。
[0025]在步骤S3中，构建一个驾驶员分心行为检测网络。对特征融合网络的网络连接进行修改。在原有的YOLOv5网络模型的颈部，只有20
×
20、40
×
40和80
×
80三种尺寸的特征图在特征融合阶段被结合起来。为了使网络模型能够更充分地整合信息，增加了一个更大的特征图，大小为160
×
160，用于特征融合。此外，在原始特征融合网络的基础上，增强了融合不同大小特征图的能力。这提高了检测小物体的能力，如香烟、手机、水杯。
[0026]在步骤S4中，设计联合损失函数，由三部分组成，分别是分类损失、置信度损失和回归损失。其中分类损失和置信度损失都是使用BCE(Binary Cross Entropy，二进制交叉熵)损失函数来计算的。在本专利技术中定位损失使用的是基于距离交互比的损失函数(L
DIoU
)损失函数计算。
[0027]所述基于距离本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的驾驶员分心行为检测方法，其特征在于，该方法包括以下步骤，且按以下步骤顺序执行：步骤S1，数据集准备，收集包含驾驶员分心驾驶行为的图像，并进行标注；步骤S2，图像预处理，对收集到的图像进行一系列的操作和变换，以改善图像的质量，并为网络提供更好的输入数据；步骤S3，构建一个驾驶员分心行为检测网络，在原有的YOLOv5网络的骨干中增加模块化结构，将Swin Transformer模块引入到特征融合网络的C3模块中，取代了原有的Bottleneck模块，并对特征融合网络连接进行修改；步骤S4，设计联合损失函数，训练模型，把准备的训练集输入到驾驶员行为检测网络中进行训练；步骤S5，网络测试，把准备的测试集输入到网络中进行识别、得到结果。2.根据权利要求1所述的一种基于深度学习的驾驶员分心行为检测方法，其特征在于，在步骤S1中，数据集包括训练集和测试集，训练集和测试集均包含各种分心驾驶行为的图像。然后，使用LabelImg对得到的图片进行标注。3.根据权利要求1所述的一种基于深度学习的驾驶员分心行为检测方法，其特征在于，在步骤S2中，对收集到的图像进行预处理，改善了图像的质量，增强数据的多样性和复杂性。4.根据权利要求1所述的一种基于深度学习的驾驶员分心行为检测方法，其特征在于，在步骤S3中，构建了一个驾驶员分心行为检测网络，具体的网络改进包括以下子步骤：S301：首先，在骨干网络特征提取阶段的SPPF结构之后添加一个模块和三个卷积操作，其中输入被分为两个分支，其中一个分支通过一个卷积操作和一个特定的模块，而另一个分支仅通过一个卷积操作，最后，通过一个卷积操作。指定的模块包含6种不同的卷积操作。给定输入特征信息X时，模块输出信息是Y。所述模块输出信息Y和变量X1～X6为：Y＝X1+X2+X3+X4+X5+X6其中，缩写cv代表不同的卷积运算，符号“+”代表将这些变量连接起来。S302：在特征融合网络的C3模块中引入Swin Transformer模块，取代原有的Bottleneck模块。Swin Transformer的基本结构由三个模块组成，分别是Patch Embedding、Swin Transformer Block和Patch Merging。Swin Transformer Block是其主要模块，并且T...

【专利技术属性】
技术研发人员：段锦，李仲伦，张昊，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：