本发明专利技术公开了基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，包括步骤S1.利用图片信息采集模块采集驾驶员图像；S2.利用图像预处理模块将采集的图像灰度化，并识别出人脸各特征；S3.然后利用图像预处理模块对人脸图像特征进行提取，并截取构造出人脸不同位置的数据集；S4.将步骤S3得到的数据集导入卷积神经网络模型中进行学习分类；S5.利用卷积神经网络设定的阈值将数据集再细化分类；S6.利用模糊逻辑综合多种因素得出驾驶员疲劳程度，诱发对应疲劳预警；本发明专利技术能够做到在不受外界环境干扰的情况下对驾驶员疲劳进行准确检测，并考虑实际驾驶情况提出不同预警方法，有针对性地进行预警与警告，具有准确率高和检测效率好的特点。测效率好的特点。测效率好的特点。
【技术实现步骤摘要】
基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法
[0001]本专利技术涉及驾驶员疲劳检测
，具体涉及基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法。
技术介绍
[0002]近年来，由于生活环境疲劳，季节性疲劳，单一驾驶环境疲劳给生命财产安全带来极大的危害，因而导致事故率逐年上升，因此为降低交通事故的发生频率，急需对于驾驶员的疲劳驾驶进行研究；
[0003]目前对驾驶员疲劳检测研究主要从三个方面入手，分别为：基于行车数据的驾驶员疲劳检测、基于生理状态以及基于图像处理的检测；其中基于行车数据的驾驶员疲劳检测方法的成本较高，且实验数据与实车操作数据差异较大；基于生理状态的加测方法因要在车以及驾驶员身上安装多个传感器，因此会影响驾驶员的正常操作，且检测成本较高；随着计算机技术的突飞猛进，图像处理的疲劳检测以成本低廉、准确率高成为主流；而在具体检测过程中，我们发现，传统图像检测的准确率受光照及头部角度变化的影响较大，因此，需要对此类问题进行解决；
[0004]卷积神经网络能够自行提取特征，而不依赖人工操作，另外还能对特征进行融合，有效对抗噪声及背景干扰；目前，卷积神经网络已在多个领域成功应用；现有的基于卷积神经网络的驾驶员疲劳检测多基于眼睛闭合的概率以及嘴巴张开程度来判断，但有时许多情况下驾驶员处于轻微疲劳状态时该种检测方法较容易判断为不疲劳，缺乏对驾驶员疲劳程度的检测，留下交通安全事故隐患；
[0005]基于此，亟需设计基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，来提高在驾驶员疲劳检测过程中的实时性和准确率，以解决上述现有技术存在的问题。
技术实现思路
[0006]针对上述存在的问题，本专利技术旨在提供基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，本方法通过引入基于多尺度特征的卷积神经网络模型来对驾驶员进行疲劳检测，能够有效且快速的完成驾驶员疲劳检测，具有准确率高和检测效率好的特点。
[0007]为了实现上述目的，本专利技术所采用的技术方案如下：
[0008]基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，包括步骤
[0009]S1.利用图片信息采集模块采集驾驶员图像；
[0010]S2.利用图像预处理模块将采集的图像灰度化，并识别出人脸各特征；
[0011]S3.然后利用图像预处理模块对人脸图像特征进行提取，并截取构造出人脸不同位置的数据集；
[0012]S4.将S3得到的数据集导入卷积神经网络模型中进行学习分类；
[0013]S5.利用卷积神经网络设定的阈值将数据集再细化分类；
[0014]S6.利用模糊逻辑综合多种因素得出驾驶员疲劳程度，诱发对应疲劳预警。
[0015]优选的，步骤S1所述的图片信息采集模块为设置在车内的车载红外摄像头，所述摄像头用于对驾驶员肩部以上的正面脸部进行实时拍摄，获取驾驶员图像。
[0016]优选的，步骤S2和S3所述的图像预处理模块为opencv，利用opencv对图像进行预处理的过程包括
[0017](1)首先根据dlib库对裁剪的图像进行人脸的标定，然后利用梯度直方图将每帧图像中的人脸截取下来；
[0018](2)再将人脸的各特征点提取出来，提取人脸的68个特征关键点的坐标，利用opencv绘图进行眼睛的定位，计算眼睛处的最大水平距离和最大垂直距离，即眼睛的宽度和高度，分别采集左眼、右眼、左眼及右眼下部两厘米宽的皮肤图像并构成数据集。
[0019]优选的，步骤S4所述的所述的卷积神经网络模型包括输入层、卷积层、归一化层、池化层、残差模块、通道注意力模块、多尺度特征融合模块和卷积校准模块，
[0020]所述输入层设置在卷积神经网络模型的输入端，大小为175*175，用于输入S3得到的数据集；
[0021]所述卷积层包含五层卷积层；
[0022]所述归一化层设置在卷积层与池化层之间；
[0023]所述池化层包含三层池化层，且均为最大池化；
[0024]所述通道注意力模块设置在卷积层上；
[0025]所述残差模块设置在全连接层末端；
[0026]所述多尺度特征融合模块和卷积校准模块均设置在池化层的输出端。
[0027]优选的，步骤S4所述的将S3得到的数据集导入卷积神经网络模型中进行学习分类的过程包括：在卷积神经网络模型中，对导入的数据集进行5次卷积、3次池化，并最终进入全连接层和残渣模块中，其中在卷积和池化过程中，先进行最大池化再进行平均池化。
[0028]优选的，所述的卷积和池化过程具体包括
[0029](1)在输入层内输入S3得到的数据集，进入第一卷积层内进行卷积运算，在第一卷积层内进行卷积运算后进入第一次池化层；
[0030](2)在第一次池化层之后提取第一个特征分支，在第二个池化层之后提取第二个特征分支；
[0031](3)将两个提取的特征分支通过1
×
1的卷积核，通过扩充因子，将第一个特征分支的图像尺度变换为第二个特征分支图像同等的尺度，利用通道维度的拼接得到最终的多尺度特征图；
[0032](4)融合后的多尺度特征图通过卷积校准模块重新整合上下文信息并进行重新校准；
[0033](5)最后将校准后的特征信息融合累加到主干网络中；且在第4次卷积、第5次卷积后添加通道注意力模块。
[0034]优选的，所述的归一化层用于进行归一化操作，所述归一化操作过程包括
[0035](1)设小批量中有n个样本，单个通道中，卷积计算输出的高和宽分别为w和s，需要对该通道中n*w*s个样本进行批量归一化；
[0036](2)若网格训练中每一批包含q个样本，且每个卷积核生成特征图的宽高分别为a和b，每个特征图包含q*a*b个神经元，根据一组待学习参数对每个数据进行批量归一化处
理，若有m个卷积核，则有m个特征图及m组不同的学习参数。
[0037]优选的，步骤S6所述的利用模糊逻辑综合多种因素得出驾驶员疲劳程度，诱发对应疲劳预警的过程包括
[0038](1)模糊处理主要是采用二输入一输出的模式，将卷积神经网络判断的眼睛、眼睛下方两公分皮肤的结果作为输入；
[0039](2)输入量为眼睛闭合频率f与眼部皮肤状态c的等级，f的论域范围为[0,1]，c的论域范围为[0,1]，输入输出变量的语言值为{清醒、轻度疲劳、中度疲劳、重度疲劳}，对应模糊子集为{ZO、PS、PM、PB}，各模糊子集的隶属度函数选用对于眼部周围皮肤状态的检测从黑眼圈方面进行着手，考虑遗传因素的影响，重点对有青黑色黑眼圈的驾驶人进行重点检测；
[0040](3)运用设定的模糊规则得出驾驶员地疲劳程度，有针对性地进行疲劳预警。
[0041]本专利技术的有益效果是：本专利技术公开了基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，与现有技术相比，本专利技术的改进之处在于：
[0042]本专利技术旨在设计了基于多尺度特征融合卷本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，其特征在于：包括步骤S1.利用图片信息采集模块采集驾驶员图像；S2.利用图像预处理模块将采集的图像灰度化，并识别出人脸各特征；S3.然后利用图像预处理模块对人脸图像特征进行提取，并截取构造出人脸不同位置的数据集；S4.将S3得到的数据集导入卷积神经网络模型中进行学习分类；S5.利用卷积神经网络设定的阈值将数据集再细化分类；S6.利用模糊逻辑综合多种因素得出驾驶员疲劳程度，诱发对应疲劳预警。2.根据权利要求1所述的基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，其特征在于：步骤S1所述的图片信息采集模块为设置在车内的车载红外摄像头，所述摄像头用于对驾驶员肩部以上的正面脸部进行实时拍摄，获取驾驶员图像。3.根据权利要求1所述的基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，其特征在于：步骤S2和S3所述的图像预处理模块为opencv，利用opencv对图像进行预处理的过程包括(1)首先根据dlib库对裁剪的图像进行人脸的标定，然后利用梯度直方图将每帧图像中的人脸截取下来；(2)再将人脸的各特征点提取出来，提取人脸的68个特征关键点的坐标，利用opencv绘图进行眼睛的定位，计算眼睛处的最大水平距离和最大垂直距离，即眼睛的宽度和高度，分别采集左眼、右眼、左眼及右眼下部两厘米宽的皮肤图像并构成数据集。4.根据权利要求1所述的基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，其特征在于：步骤S4所述的所述的卷积神经网络模型包括输入层、卷积层、归一化层、池化层、残差模块、通道注意力模块、多尺度特征融合模块和卷积校准模块，所述输入层设置在卷积神经网络模型的输入端，大小为175*175；所述卷积层包含五层卷积层；所述归一化层设置在卷积层与池化层之间；所述池化层包含三层池化层，且均为最大池化；所述通道注意力模块设置在卷积层上；所述残差模块设置在全连接层末端；所述多尺度特征融合模块和卷积校准模块均设置在池化层的输出端。5.根据权利要求4所述的基于多尺度特征融合卷积神经网络的驾驶员疲劳检测方法，其特征在于：步骤S4所述的将步骤S3得到的数据集导入卷积神经网络模型中进行学习分类的过程包括：在卷积神经网络模型中，对导入的数据集进行5次卷积、3次池...
【专利技术属性】
技术研发人员：张武，关甜，韩毅，马骊溟，齐琦，李敏，
申请(专利权)人：西安青牛智驾科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。