一种基于神经网络的驾驶员疲劳检测方法技术

本发明专利技术公开了一种基于神经网络的驾驶员疲劳检测方法，包括下述步骤：S1，使用红外摄像头采集图像；S2，使用多任务级联卷积网络算法，检测到人脸和关键点位置，得到检测模型；S3，使用区域提取算法，根据关键点位置提取眼部和嘴部区域图；本发明专利技术提出了一个完全基于神经网络的驾驶员疲劳检测框架，检测准确率更高；提出的算法将人脸检测与人脸关键点检测任务合二为一，可同时输出人脸部位和人脸关键点，减少了先检测人脸再检测关键点的检测时间；检测范围更广，不局限于眼睛和嘴巴，同时检测打电话，抽烟等特征，而且具备扩展性。

A Driver Fatigue Detection Method Based on Neural Network

【技术实现步骤摘要】
一种基于神经网络的驾驶员疲劳检测方法
本专利技术涉及驾驶员疲劳检测
，具体涉及一种基于神经网络的驾驶员疲劳检测方法。
技术介绍
驾驶员疲劳检测对于驾驶员来说非常重要，尤其是商用车驾驶员，因为在交通事故中，由于驾驶员失误导致的交通事故占74％左右；车祸中25～30％是由于疲劳驾驶造成的，而在重大交通事故中，40％是由于疲劳驾驶造成；高速路上70％的驾驶员存在疲劳驾驶的经历，而驾驶过程中抽烟、看手机的人群其数量更是庞大。公安部交管局的统计数据显示，2016年全国共发生货车责任道路交通事故5.04万起，造成2.5万人死亡，4.68万人受伤，分别占汽车责任事故总量的30.5％、48.23％和27.81％，远高于货车保有量占汽车总量的比例。研究表明，提前1.5秒的预警可以减少90％的前追尾碰撞；因此，主动预警提醒驾驶员的疲劳以及危险驾驶行为，对于驾驶员个人、家庭、企业、社会都具有重大意义。随着商用车的不断增多，科技的不断发展，驾驶辅助系统和主动安全系统日益受到国家的重视，相关政策正不断推进相关技术的发展，以满足市场需求，驾驶员疲劳检测作为驾驶辅助系统的重要组成部分，能够保护司机、车辆、行人的财产安全，生命安全，降低交通事故的发生概率，构建更好的交通状况。现有技术中，中国专利CN201410181705.8公开了一种基于移动手机的驾驶员疲劳检测系统，即一种基于图像处理方法的驾驶员疲劳检测系统，首先采集图像，然后对图像去除噪声，接着基于图像像素非线性分段色彩变换实现人脸检测及定位，利用相邻两帧图像的相关性进行跟踪，再基于边缘检测二值化检测眼部，提取眼睛的瞳孔开度特征参数，基于PERCLOS方法判断驾驶员是否处于疲劳驾驶状态；中国专利CN201711074403.0公开了一种驾驶员疲劳检测系统，即一种基于三个单元的检测方法，包括头部位置检测单元、面部扫描单元和压力感应单元，面部扫描单元通过检测上眼皮和下眼皮的高度差，得到驾驶员眼睛睁开度，并将结果输入控制单元，压力传感单元分布在方向盘的外周上，通过综合三个单元的检测结果判断驾驶员是否处于疲劳状态；不过，对压力和头部位置的检测，受驾驶员驾驶习惯影响，实际使用过程中不具有良好的鲁棒性；中国专利CN201410157686.5公开了一种基于红外检测技术的驾驶员疲劳检测系统，首先使用CCD红外摄像头采集图像，通过人眼面积和嘴部面积进行疲劳判断，然后使用将相邻两帧图像进行差分的方法，精确地检测眼睛、嘴型的位置和特征，实现对驾驶员疲劳程度的精准检测，最后使用卡尔曼滤波器和Mean-shift算法实现对眼部和嘴部的跟踪；中国专利CN109002774A公开了一种基于卷积神经网络的疲劳监测装置及方法，其主要公开了以下技术特征：通过摄像头采集驾驶员的头部图像，对图像进行平滑去噪声处理，滤除造成干扰的冗余信息；然后通过harr+adaboost方法监测和定位摄像头采集图像的人脸区域，生成face对象，其实现了使用神经网络进行人脸特征点的定位。以上专利文献中的方法都有以下几个缺点：(1)忽略了人脸检测与人脸关键点(即嘴部、眼部)检测的内在联系，这是传统图像处理方法的弊端，同时也难以在一个神经网络中实现；(2)不具备良好的扩展能力，在目前前沿的行业标准当中，驾驶员疲劳检测系统早已不止要求检测眼部和嘴部，还要求检测驾驶员是否在驾驶过程中抽烟以及打电话，以上方法需要人为的重新寻找特征，重新设计系统，不能满足扩展需求。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提供一种基于神经网络的驾驶员疲劳检测方法，该方法将人脸检测与人脸关键点检测结合在一个任务中执行，再用卷积神经网络检测疲劳状态，形成一个完全采用神经网络检测的框架，其速度和精度都得到极大的提升。本专利技术的目的通过下述技术方案实现：一种基于神经网络的驾驶员疲劳检测方法，包括下述步骤：S1，使用红外摄像头采集图像；S2，使用多任务级联卷积网络算法，检测到人脸和关键点位置，得到检测模型；S3，使用区域提取算法，根据关键点位置提取眼部和嘴部区域图；S4，将S3中所得到的区域图输入到状态识别网络VGG-Net中，得到识别模型；S5，通过检测模型和识别模型，判断驾驶员疲劳状态，并输出相应的电平信号。优选地，所述S1的具体过程为：分别在白天和夜晚情况下使用红外摄像头采集一定数量的模拟驾驶员视频作为状态识别过程的训练数据，男性和女性各20人，采集到每人两分钟的模拟驾驶视频，其中包括抽烟、打电话、打哈欠、点头和正常开车状态，共从中提取7500张状态图片，构建疲劳驾驶数据库。优选地，所述S2主要包括下述步骤：S2.1，搭建tensorflow框架，并配置检测任务中多任务级联卷积网络算法的运行环境；配置好的多任务级联卷积网络算法，以三通道图像为输入，输出一个人脸框提示人脸区域，并输出五个关键点，即眼睛、鼻子和嘴角；基于多任务级联卷积神经网络的人脸及人脸关键点检测分为三个次网络，即准备网络、惩罚网络和输出网络；每一层网络都会计算出预测分类信息、脸部边框信息和脸部关键点信息，每种信息都有对应的损失函数，此网络采用梯度下降的方式提高输出的准确度，并使用以下三个误差函数：第一个误差函数用于人脸检测，人脸检测是一个二分类问题，使用交叉熵损失作为分类误差：上式为人脸分类的交叉熵损失函数，其中，Pi是网络计算得出的图像X是脸部的概率，yidet为背景的真实标签；第二个误差函数用于边框回归，采用回归误差：上式是通过欧氏距离计算的回归损失，其中为通过网络预测得到，y为实际的真实的背景坐标；y是由(lefttop_X，lefttop_Y，length，width)组成的四元组，其中(lefttop_X，lefttop_Y)为真实框的左上角坐标，length为框的长，width为框的宽。第三个误差函数用于关键点定位误差，采用欧几里德误差：和边界回归一样，上式还是计算网络预测的地标位置和实际真实地标的欧式距离，并最小化该距离；其中为通过网络预测得到地标坐标，y为实际的真实的地标坐标；由于一共五个点，每个点两个坐标，因此y属于十元组；S2.2，使用数据集训练多任务级联卷积网络算法检测模型；该任务所用到的数据集是具有32203张图像的WiderFace大量脸部数据集和具有5590张图像的LFW带标签的脸部数据集，还有7876张网络照片，共获得45669张带有标签的人脸图像，其中包含407169张人脸；S2.3，从S1得到的视频中提取图片输入到训练好的多任务级联卷积网络算法检测网络中，得到关键点位置。优选地，所述S3的具体过程为：通过多任务级联神经网络获得两个眼睛关键点和两个嘴角关键点，根据这些特征点的位置进行眼部和嘴部特征提取，同时采用如下方法提取眼睛和嘴部的区域：Y_E＝y_e+－10X_E＝x_e+－20Y_M＝y_m+－30X_M＝x_m+－60其中，Y_E、X_E为眼部左上角和右下角坐标，Y_M、X_M为嘴部区域左上角和右下角坐标，y_e、x_e为神经网络输出的眼睛关键点坐标，y_m、x_m为神经网络输出的嘴角关键点坐标；采用如下提取方法得到驾驶员耳朵区域特征：X_R_1＝x_e_R－60Y_R_1＝y_e_R－15X_R_2＝x_e_R－30Y_R_2＝y_本文档来自技高网...

【技术保护点】
1.一种基于神经网络的驾驶员疲劳检测方法，其特征在于，包括下述步骤：S1，使用红外摄像头采集图像；S2，使用多任务级联卷积网络算法，检测到人脸和关键点位置，得到检测模型；S3，使用区域提取算法，根据关键点位置提取眼部和嘴部区域图；S4，将S3中所得到的区域图输入到状态识别网络VGG‑Net中，得到识别模型；S5，通过检测模型和识别模型，判断驾驶员疲劳状态，并输出相应的电平信号。

【技术特征摘要】
1.一种基于神经网络的驾驶员疲劳检测方法，其特征在于，包括下述步骤：S1，使用红外摄像头采集图像；S2，使用多任务级联卷积网络算法，检测到人脸和关键点位置，得到检测模型；S3，使用区域提取算法，根据关键点位置提取眼部和嘴部区域图；S4，将S3中所得到的区域图输入到状态识别网络VGG-Net中，得到识别模型；S5，通过检测模型和识别模型，判断驾驶员疲劳状态，并输出相应的电平信号。2.根据权利要求1所述的基于神经网络的驾驶员疲劳检测方法，其特征在于，所述S1的具体过程为：分别在白天和夜晚情况下使用红外摄像头采集一定数量的模拟驾驶员视频作为状态识别过程的训练数据，男性和女性各20人，采集到每人两分钟的模拟驾驶视频，其中包括抽烟、打电话、打哈欠、点头和正常开车状态，共从中提取7500张状态图片，构建疲劳驾驶数据库。3.根据权利要求1所述的基于神经网络的驾驶员疲劳检测方法，其特征在于，所述S2主要包括下述步骤：S2.1，搭建tensorflow框架，并配置检测任务中多任务级联卷积网络算法的运行环境；配置好的多任务级联卷积网络算法，以三通道图像为输入，输出一个人脸框提示人脸区域，并输出五个关键点，即眼睛、鼻子和嘴角；基于多任务级联卷积神经网络的人脸及人脸关键点检测分为三个次网络，即准备网络、惩罚网络和输出网络；每一层网络都会计算出预测分类信息、脸部边框信息和脸部关键点信息，每种信息都有对应的损失函数，此网络采用梯度下降的方式提高输出的准确度，并使用以下三个误差函数：第一个误差函数用于人脸检测，人脸检测是一个二分类问题，使用交叉熵损失作为分类误差：上式为人脸分类的交叉熵损失函数，其中，Pi是网络计算得出的图像X是脸部的概率，为背景的真实标签；第二个误差函数用于边框回归，采用回归误差：上式是通过欧氏距离计算的回归损失，其中为通过网络预测得到，y为实际的真实的背景坐标；y是由(lefttop_X，lefttop_Y，length，width)组成的四元组，其中(lefttop_X，lefttop_Y)为真实框的左上角坐标，length为框的长，width为框的宽；第三个误差函数用于关键点定位误差，采用欧几里德误差：和边界回归一样，上式还是计算网络预测的地标位置和实际真实地标的欧式距离，并最小化该距离；其中为通过网络预测得到地标坐标，y为实际的真实的地标坐标；由于一共五个点，每个点两个坐标，因此y属于十元组；S2.2，使用数据集训练多任务级联卷积网络算法检测模型；该任务所用到的数据集是具有32203张图像的WiderFace大量脸部数据集和具有5590张图像的LFW带标签的脸部数据集，还有7876张网络照片，共获得45669张带有标签的人脸图像，其中包含407169张人脸；S2.3，从S1得到的视频中提取图片输入到训练好的多任务级联卷积网络算法检测网络中，得到关键点位置。4.根据权利要求1所述的基于神经网络的驾驶员疲劳检测方法，其特征在于，所述S3...

【专利技术属性】
技术研发人员：尹惠锋，张伟，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44