一种智能车辆辅助驾驶的驾驶员疲劳检测方法技术

本发明专利技术提供了一种智能车辆辅助驾驶的驾驶员疲劳检测方法，综合考虑了行车过程中驾驶员眼部和嘴部状态并建立了相应的面部状态分类器，能够有效克服现有的仅通过单位时间人眼闭合的百分比的单一参数检测疲劳度方法的缺点，并能基于驾驶员自身的脸部信息建立驾驶员状态分类器，准确识别驾驶员清醒或疲劳，针对不同驾驶员个体的疲劳状态差异实现更为准确的个性化检测，实现以驾驶员的疲劳状态为依据指定辅助驾驶策略，实现车辆行驶时的在途动态识别。

【技术实现步骤摘要】
一种智能车辆辅助驾驶的驾驶员疲劳检测方法
本专利技术属于智能车辆
，尤其涉及以一种针对驾驶员的疲劳程度实现个性化检测的方法。
技术介绍
智能车辆的主要特点是以技术弥补人为因素的缺陷，使得即便在很复杂的道路情况下，也能够通过人-车交互的智能化手段，对驾驶行为产生主动或者被动的引导、修正甚至直接取代驾驶人完成驾驶任务。行车过程中，驾驶员自身的状态对车辆运行有着显著的影响，当驾驶员处于意识清醒状态时，适合由驾驶员掌握更多的自主控制权，此时如果采取较多的辅助驾驶，可能会减低辅助驾驶的效度与可接受度；而当驾驶员处于疲倦状态时，车辆行驶的安全性态势降低，此时则需要提供更多的车辆辅助驾驶功能来提高安全性。因此，针对驾驶员不同的疲劳状态和程度实施不同的车辆辅助控制策略，可有效提高辅助驾驶的有效性、宜人性，提高智能车辆人机交互的可接受度。目前驾驶员疲劳状态检测方法主要包括：基于驾驶员生理参数的检测方法(CN105662407A，CN104224105B)、基于车辆行为的检测方法(CN107316354A，CN105976567A)、基于计算机视觉的检测方法(CN108294759A，CN103479367B，CN102201148A，CN203885510U)等。其中，部分基于计算机视觉的检测方法(CN102201148A，CN203885510U)主要针对单位时间人眼闭合的百分比(PERCLOS)特征进行疲劳驾驶检测。然而，不同驾驶员在困倦状态时的表现也有个体性与差异性，当PERCLOS阈值选取不当时，会扩大基于机器视觉的驾驶员疲劳检测算法的错误率；另一方面，由于人的眼部区域形状及习惯不同，通过一般的人眼数据库训练的眼部状态识别训练器会对一些用户的眼部状态识别产生偏差，影响识别准确率。因此，对于人员疲劳时的程度和表现，提供具有差异化和更有效的识别手段是十分必要的。
技术实现思路
针对上述本领域中存在的技术问题，本专利技术提供了一种智能车辆辅助驾驶的驾驶员疲劳检测方法，具体包括以下步骤：步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B。图片库B中的图像可由A中不少于3000张图片和不少于5000张标准人脸图片混合得到。步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练基于Adaboost算法的人眼和嘴部状态分类器；步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值作为特征向量，训练基于朴素贝叶斯方法的驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状；步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。进一步的，所述驾驶员脸部图片库A通过采集行车过程中的驾驶员脸部的红外视频图像，并经Opencv中的LocalBinaryPatternHistogram(LBPH)算法识别得到。进一步的，所述步骤二中对所述图片库B中的每张图片利用基于多尺度数学形态学的膨胀运算，寻找特征图中的白色区域，以白色区域附近24*24像素点作为人眼图片形成所述图片库B1；对所述图片库B中同一图片中通过已定位好的两眼位置，通过相对坐标点的方法确定人嘴部图片，并格式化为24*24像素，形成所述图片库B2。进一步的，所述步骤三中以眼部高度小于最大高度的20％时作为闭眼状态，其余为睁眼状态，以嘴部高度大于最小高度的300％时作为过度张嘴状态，其余为正常状态，训练并建立N>10个强分类器。进一步的，所述步骤四中在所述图片库A中选取用户驾驶员行车时间低于20min的部分形成所述图片库A1，选取行车时间超过2h的部分形成所述图片库A2，每个图片库中图片不少于3000个。进一步的，基于所述步骤六中的驾驶员疲劳状态的在线辨识结果，执行分等级的驾驶辅助策略。进一步的，正常嘴部状态为嘴部最高高度与最长宽度比值小于70％的状态。根据上述本专利技术所提供的方法，综合考虑了行车过程中驾驶员眼部和嘴部状态并建立了相应的面部状态分类器，能够有效克服现有的仅通过单位时间人眼闭合的百分比的单一参数检测疲劳度方法的缺点，并能基于驾驶员自身的脸部信息建立驾驶员状态分类器，准确识别驾驶员清醒或疲劳，针对不同驾驶员个体的疲劳状态差异实现更为准确的个性化检测，实现以驾驶员的疲劳状态为依据指定辅助驾驶策略，实现车辆行驶时的在途动态识别。附图说明图1为驾驶员个性化眼部状态、嘴部状态及疲劳状态分类器训练示意图图2为根据本专利技术所提供方法的辅助驾驶策略示意图具体实施方式下面结合附图对本专利技术所提供的一种适用于稀疏数据的动力电池参数辨识方法，做出进一步详尽的阐释。本专利技术提供了一种智能车辆辅助驾驶的驾驶员疲劳检测方法，具体包括以下步骤：步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B；步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练基于Adaboost算法的人眼和嘴部状态分类器；正常嘴部状态结合生活中驾驶员的非疲劳状态确定即可，优选地，正常嘴部状态为嘴部最高高度与最长宽度比值小于70％的状态。步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值(x1,x2,x3,x4)作为特征向量，训练基于朴素贝叶斯方法的驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状态。所述训练过程如图1所示。其中基于朴素贝叶斯的分类器以后验概率大小作为判断指标，即：h判别结果；c疲劳/正常状态；P是概率；步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。在本申请的一个优选实施例中，所本文档来自技高网...

【技术保护点】
1.一种智能车辆辅助驾驶的驾驶员疲劳检测方法，其特征在于：具体包括以下步骤：步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B；步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练人眼和嘴部状态分类器；步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值作为特征向量，训练驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状；步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。...

【技术特征摘要】
1.一种智能车辆辅助驾驶的驾驶员疲劳检测方法，其特征在于：具体包括以下步骤：步骤一、对行车过程中的驾驶员脸部进行视频采集，收集得到具有时序关系的驾驶员脸部图片库A，并将所述图片库A与预先收集的标准人脸图片库混合，得到混合人脸图片库B；步骤二、对所述图片库B中的每张图片，分别识别人眼区域和嘴部区域，建立混合人眼图片库B1和混合嘴部图片库B2；步骤三、对所述图片库B1中的每张图片的睁眼状态和闭眼状态，以及图片库B2中每张图片的过度张嘴状态和正常嘴部状态分别进行标注并作为训练样本，建立并训练人眼和嘴部状态分类器；步骤四、对所述步骤一中收集的驾驶员脸部图片库A中，根据驾驶员行车时间的长短分别形成疲劳状态下的用户驾驶员脸部图片库A2和机敏状态下的用户驾驶员脸部图片库A1；通过所述步骤三中训练好的所述人眼和嘴部状态分类器对所述图片库A1和A2进行识别，得到固定时间间隔t中单位时间人眼闭合的百分比(PERCLOS)、眨眼次数(F1)、嘴部张开时间占比(PEROPEN)、张开频率(F2)的时间序列值；步骤五、将所述步骤四得到的所述单位时间人眼闭合的百分比、眨眼次数、嘴部张开时间占比、张开频率的时间序列值作为特征向量，训练驾驶员状态分类器，所述驾驶状态分为清醒或疲劳状；步骤六、实时采集驾驶员脸部图像，通过眼部及嘴部状态检测实现对驾驶员疲劳状态的在线辨识。2.如权利要求1所述的方法，其特征在于：所述驾驶员脸部图片库A通过采集行车过程中的驾驶员脸部的红外视频...

【专利技术属性】
技术研发人员：王武宏，成前，蒋晓蓓，李成刚，郭宏伟，王乐怡，侯单懿，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11