一种基于YM_SSH的轻量级目标检测的疲劳状态检测方法技术

本发明专利技术公开了一种基于YM_SSH的轻量级目标检测的疲劳状态检测方法，具体包括以下步骤：数据集准备，结合国内疲劳检测公共数据建立疲劳状态检测数据集；神经网络搭建，使用MobileViT代换YOLOv3的主干网络Darknet53，使用小尺寸卷积核代替大尺寸卷积核，搭建具有更大有效感受野的轻量级网络YM_SSH，使用改进的SSH网络增大模型感受野；减半网络通道数，将网络模型轻量化；嵌入式部署，将模型转化为TensorRT模型，提高模型在移动终端的推理速度。本发明专利技术基于轻量级目标检测网络以及可分离深度卷积，在扩大特征感受野的同时减少卷积核计算量和参数量，并且检测速度和精度与原网络模型几乎持平，解决了实时疲劳检测精确度低的问题。问题。问题。

【技术实现步骤摘要】
一种基于YM_SSH的轻量级目标检测的疲劳状态检测方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于YM_SSH的轻量级疲劳状态检测方法。

技术介绍

[0002]疲劳是由于过度的体力或脑力劳动引起的工作能力与效率能力下降的一种生理现象，其不仅会造成人们的作业能力下降，还可能会诱发事故。驾驶疲劳现象在我国也是屡见不鲜，据统计，2004年至2014年期间，在我国高速公路上发生的交通事故中，其中因疲劳驾驶导致的交通事故约占10％。
[0003]疲劳检测可以看作是目标检测问题，但大部分目标检测网络在提高检测精度的同时，而忽略了模型计算量、参数量大小的问题。

技术实现思路

[0004]本专利技术针对传统目标检测网络模型计算量大，参数量多的问题，以YOLOv3网络为基础，提出了新型轻量化目标检测网络，来降低网络模型的计算量和参数量，提高疲劳检测过程中的检测速度，解决现有检测模型无法平衡检测精度和模型大小的问题。
[0005]为解决上述技术问题，本专利技术提供如下技术方案：
[0006]一种基于YM_SSH的轻量级目标检测的疲劳状态检测方法，包括以下步骤：
[0007]步骤S1、标注疲劳检测数据集，并划分训练集、验证集和测试集；
[0008]步骤S2、使用目标检测模块和目标跟踪模块搭建卷积神经网络，网络最终输出为疲劳状态和位置信息；
[0009]步骤S3、使用步骤S1中的数据集训练步骤S2中的卷积神经网络，得到可以准确识别疲劳状态检测模型；
[0010]步骤S4、将疲劳状态检测模型转换为可以嵌入式部署的模型；
[0011]步骤S5、将步骤S4中转换后的模型部署到终端设备，将终端设备摄像头拍摄的视频流输入疲劳状态检测模型，并输出检测结果。
[0012]进一步的，步骤S1包括：
[0013]步骤S11、疲劳检测数据集由公共数据集和公交平台采集的图像数据组成，对采集的公交平台图像数据进行标注，标注对象为眼睛和嘴，根据眼睛和嘴的闭合状态判定疲劳状态；
[0014]步骤S12、将疲劳数据集按照8：2的比例划分训练集和验证集；
[0015]步骤S13、在训练阶段加载数据集时，使用数据增强方法提高数据的鲁棒性，使用预处理方式提高模型的泛化能力。
[0016]进一步的，所述数据增强方法包括但不限于颜色空间变换法、GAN自动生成法。
[0017]进一步的，所述预处理方法包括但不限于均值减法、均一化法。
[0018]进一步的，步骤S3所述的卷积神经网络包括目标检测模块和目标跟踪模块，其中，
目标检测模块用于检测疲劳状态及位置信息，目标跟踪模块用于避免同一检测对象被多次识别。
[0019]进一步的，步骤S3所述的卷积神经网络搭建的具体步骤为：
[0020]步骤S31、使用YOLOv3作为基础网络模型，使用MobileViT替代YOLOv3的原有骨干网络DarkNet53，减少模型的参数量和计算量；
[0021]步骤S32、利用若干个3*3小卷积核替代5*7和7*7的大卷积核，在具有相当的感受野时，3*3的卷积核具有更少的参数量和计算代价；
[0022]步骤S33、引入改进的SSH人脸检测模块，借鉴了Inception结构，利用多个卷积维度，拓展特征提取感受野，通过多分支，不同大小卷积核提取特征，将SSH模块中的Conv
‑
1单元卷积为一个3x3卷积核，通道数缩减为原来的1/2，Conv
‑
2单元卷积利用两个3x3卷积核替换一个5x5卷积核，通道数缩减为原来的1/4，Conv
‑
3单元卷积利用三个3x3卷积核替换一个7x7卷积核，合并之后，总通道数不变；
[0023]步骤S34、最后在目标检测模块后添加目标跟踪模块，目标跟踪模块中包含一个目标跟踪算法，用于避免同一对象的重识别。
[0024]进一步的，步骤S4中的模型部署方法为先将模型转换为ONNX模型，再将ONNX转换为TensorRT模型。
[0025]与现有技术相比，本专利技术的有益效果是：
[0026]1)本专利技术可以部署在移动终端，避免了人工检测的主观性。
[0027]2)本方法实现了疲劳状态的实时检测，在减少模型大小的同时，检测精度几乎不变。
[0028]3)本方法通过来降低网络模型的计算量和参数量，提高疲劳检测过程中的检测速度，解决现有检测模型无法平衡检测精度和模型大小的问题
附图说明
[0029]图1为本专利技术的工作原理示意图；
[0030]图2为目标检测模块结构图；
[0031]图3为CUDA异构并行计算示意图；
[0032]图4位本专利技术实施例提供的基于YM_SSH的轻量级目标检测的疲劳状态检测方法的检测效果图。
具体实施方式
[0033]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0034]实施例
[0035]图1为本专利技术的工作原理示意图，涉及一种基于YM_SSH的轻量级目标检测的疲劳状态检测方法，该方法提高疲劳检测效率，对张嘴和闭眼两种最常见的疲劳状态进行检测，模型可以部署到移动终端，检测过程无需人工操作，该方法具体步骤如下：
[0036]步骤S1、标注疲劳检测数据集，并划分训练集、验证集和测试集；
[0037]步骤S2、通过移动端摄像头采集被检测人面部图像，处理面部信息获取面部特征；
[0038]步骤S3、处理获取到的面部特征信息，将图像实时输入到由目标检测模和目标跟踪模块组成的卷积神经网络中，进行特征提取并检测疲劳状态；
[0039]步骤S4、将疲劳检测结果实时输入到目标跟踪模型中，识别被检测人的疲劳状态，并统计损坏数据；
[0040]步骤S5、轻量化智能识别算法；
[0041]步骤S6、将步骤S4中的算法部署到移动终端中，将终端设备摄像头拍摄的视频流输入疲劳检测模型，并输出检测结果。
[0042]所述步骤S1的具体步骤如下：
[0043]步骤S11、疲劳检测数据集由公共数据集和公交平台采集的图像数据组成，对采集的公交平台图像数据进行标注，标注对象为眼睛和嘴，根据眼睛和嘴的闭合状态判定疲劳状态；
[0044]步骤S12、将疲劳数据集按照8:2的比例划分训练集和验证集；
[0045]步骤S13、在训练阶段加载数据集时，使用颜色空间变换、GAN自动生成等数据增强方法提高数据的鲁棒性，以及均值减法、均一化等预处理方式提高模型的泛化能力。
[0046]所述疲劳数据集包含2个类别：眼睛和嘴；根据眼睛和嘴的闭合状态判定疲劳状态；
[0047]在本实施例中，模型的输入为320*本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于YM_SSH的轻量级目标检测的疲劳状态检测方法，其特征在于：包括以下步骤：步骤S1、标注疲劳检测数据集，并划分训练集、验证集和测试集；步骤S2、使用目标检测模块和目标跟踪模块搭建卷积神经网络，网络最终输出为疲劳状态和位置信息；步骤S3、使用步骤S1中的数据集训练步骤S2中的卷积神经网络，得到可以准确识别疲劳状态检测模型；步骤S4、将疲劳状态检测模型转换为可以嵌入式部署的模型；步骤S5、将步骤S4中转换后的模型部署到终端设备，将终端设备摄像头拍摄的视频流输入疲劳状态检测模型，并输出检测结果。2.如权利要求1所述的基于YM_SSH的轻量级目标检测的疲劳状态检测方法，其特征在于：步骤S1包括：步骤S11、疲劳检测数据集由公共数据集和公交平台采集的图像数据组成，对采集的公交平台图像数据进行标注，标注对象为眼睛和嘴，根据眼睛和嘴的闭合状态判定疲劳状态；步骤S12、将疲劳数据集按照8：2的比例划分训练集和验证集；步骤S13、在训练阶段加载数据集时，使用数据增强方法提高数据的鲁棒性，使用预处理方式提高模型的泛化能力。3.如权利要求2所述的基于YM_SSH的轻量级目标检测的疲劳状态检测方法，其特征在于：所述数据增强方法包括但不限于颜色空间变换法、GAN自动生成法。4.如权利要求2所述的基于YM_SSH的轻量级目标检测的疲劳状态检测方法，其特征在于：所述预处理方法包括但不限于均值减法、均一化法。5.如权利要求1所述的基于YM_SSH的轻量级目标检测的疲劳状态检测方法，其特征在于：步骤S3所述的卷积神经网...

【专利技术属性】
技术研发人员：赵作鹏，徐俊杰，赵广明，郑天赐，郝凯，崔舒雅，刘笑枫，贺晨，周杰，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：