一种多姿态下的疲劳及非正常姿态驾驶检测方法技术

本发明专利技术涉及一种多姿态下的疲劳及非正常姿态驾驶检测方法，包括：步骤1：图像采集，采集驾驶员图像信息；步骤2：图像识别，对采集到的图像进行实时人脸检测；步骤3：面部特征点标定，包括：对检测到的人脸进行眼睛和嘴巴的特征点标定；步骤4：眼睛和嘴巴状态判断，包括：对特征点采用基于面部宽度信息的眼睛状态检测方法分析人眼与嘴巴的闭合状态；步骤5：头部三维姿态检测，包括：利用几何特征对头部三维姿态进行检测；步骤6：疲劳及非正常姿态驾驶状态判断，包括：根据人眼与嘴巴的闭合状态判断驾驶员是否处于疲劳，并根据头部三维姿态判断驾驶员是否处于非正常驾驶状态。

【技术实现步骤摘要】

本专利技术涉及一种应用于多姿态下的疲劳及非正常姿态驾驶检测的方法，特别是使 用多姿态下人脸特征点定位方法同时判断人眼和嘴巴的状态，并增加了头部三维姿态检 测，从而更准确地有效地判断驾驶员是否属于疲劳驾驶以及非正常姿态驾驶。
技术介绍
安全出行已成为当今交通领域中一个很重要的问题，随着经济的发展，汽车的保 有量持续增加，而与此同时带来的交通事故量也逐年上升，在影响安全出行的重多因素中 疲劳驾驶是当今交通安全的重要隐患之一。 开车是一项既耗体力又费脑力的重负荷劳动。驾驶员长期坐在几乎是封闭的驾 驶室内，全身肌肉时刻都处于紧张的工作状态，思想高度集中，时间长了生理和心理上消耗 的能量若得不到即时地恢复和调剂，便会导致疲劳，产生心情烦恼，易发火，浑身无力现象， 疲劳会使驾驶员的感觉器官出现障碍，其对周围环境的感知能力、形势判断能力和对车辆 的操控能力都有不同程度的下降，因此很容易发生交通事故。统计数据表明，在2010年至 2011年我国直接由疲劳驾驶导致的死亡人数分别占机动车驾驶人交通肇事总死亡人数的 11. 35%和12. 5%，大约每年有9000人死于疲劳驾驶。 与此同时，美国政府安全机构一项研宄结果表明，开车人注意力不集中是造成车 祸发生的最主要原因，比如开车时发短信、看报纸、照镜子化妆等等。另外一份由弗吉尼亚 州科技运输协会和美国全国高速公路安全局共同完成的调查，通过对数千小时的录像资料 进行研宄得出，在已经发生的交通事故或者一些诸如碰撞、刮擦及其他小摩擦事故中，开车 人注意力分散是最重要的原因。在已经发生的车祸中，属注意力不集中引起的占80%，而在 差一点发生车祸的交通事故中，有65%都是由于开车人的注意力不集中造成的。在驾驶状 态，注意力不集中的客观表现即驾驶人以没有注视前方的非正常姿态驾驶。 因此，研宄开发高性能的驾驶人疲劳及非正常姿态驾驶状态实时监测及预警技 术，对改善我国交通安全状况意义重大。 目前驾驶疲劳的研宄分为主观和客观两种方法，主观的研宄方法有主观调查表、 驾驶员自我记录、睡眠习惯调查表、斯坦福睡眠尺度表四种。客观的方法有脑电图、眼电图、 肌电图、呼吸气流、呼吸效果、动脉血液氧饱和时的温度和心电图等测量方法。尽管这些方 法是比较准确的，但是由于这些方法一般是在驾驶前或驾驶后测量，是超前或滞后的，非实 时的。而在实际应用中，人们更倾向于使用车载的、实时非接触式的疲劳检测装置。 随着计算机视觉技术以及图像处理技术越来越多地应用于现实生活，以机器视觉 为基础的疲劳检测系统凭借较低的研发、制造成本和强大的图像处理技术，得到了更多研 宄者的青睐，加之它是一种非接触式系统，对驾驶员工作没有不良影响，更容易被消费者接 受。并且，目前没有一款对于驾驶人注意力不集中，以非正常姿态进行驾驶的检测系统，而 非正常姿态驾驶却恰恰是交通事故频发的重要根源之一。因此，以机器视觉为基础探索人 脸面部特征，对处于疲劳及非正常驾驶状态的面部特征进行深入分析，建立一套疲劳驾驶 检测及非正常驾驶状态检测相结合的，切实有效工作的检测系统，必定可以大大减少由此 所引起的交通事故，避免由此造成的经济损失。
技术实现思路
本专利技术所要解决的技术问题是提供一种多姿态下的疲劳及非正常姿态驾驶检测 方法，用实现降低交通事故的效果。 本专利技术解决上述技术问题所采取的技术方案如下： ，其特征在于，包括： 步骤1 :图像采集，采集驾驶员图像信息； 步骤2 :图像识别，对采集到的图像进行实时人脸检测； 步骤3 :面部特征点标定，包括：对检测到的人脸进行眼睛和嘴巴的特征点标定； 步骤4 :眼睛和嘴巴状态判断，包括：对特征点采用基于面部宽度信息的眼睛状态 检测方法分析人眼与嘴巴的闭合状态； 步骤5 :头部三维姿态检测，包括：利用几何特征对头部三维姿态进行检测；步骤 6 :疲劳及非正常姿态驾驶状态判断，包括：根据人眼与嘴巴的闭合状态判断驾驶员是否处 于疲劳，并根据头部三维姿态判断驾驶员是否处于非正常驾驶状态。 进一步地，优选的是，步骤2中，包括：采用统计分析与机器学习的方法归纳出人 脸样本与非脸样本各自的统计特征； 构建区分各自特征的分类器，用分类器实现人脸定位检测。 进一步地，优选的是，使用AdaBoost算法检测出人脸位置。 进一步地，优选的是，步骤3中，采用监督梯度下降法进行面部特征点标定，监督 梯度下降法主要分为训练和检测两个环节； 训练部分在系统运行之前进行操作与计算，并获得人脸特征点定位部分的回归迭 代参数，以实现对人脸中眼睛、鼻子、嘴巴特征点进行定位，包括： 对所有训练库中的人脸图像手工标记眼睛嘴巴鼻子等特征点，并得到一个平均 脸； 求出平均脸的扰动参数，即缩放和平移的均值和标准差，针对每一幅图像以该均 值和标准差做高斯分布采样，得到特征值点的训练初始值X tl，并计算所有初值点的Sift特 征Φ。， 通过公式⑴即可求出特征值点的梯度下降方向及其偏差因子，其中，{(?训练库 中的人脸图像集，是人脸图像集中所有手工标记的特征点真值。Δχ?是训练特征值点X i 和真值点Χ:?司的差值矩阵，Φ1是特征值点的sift特征，R是梯度下降方向，b是偏差因子， k表示迭代次数； argmin ΣΣ|Δχ*! -Rd -bt\\ RtA i' A (I) 通过公式（2)对每一幅人脸图像中的特征点x进行更新，并重新计算更新后特征 点的sift特征， Xk=Xk-Uk-JbH (2) 最后，对公式1和公式2进行迭代求解，特征值点xk收敛于真值点x #，此时训练结 束，最终求得的每次迭代过程当中的梯度下降方向Rk和偏差因子b k即检测所需要的回归迭 代参数。 进一步地，优选的是，步骤3中，在检测阶段，具体包括： 首先，将训练过程中所得到的标准平均人脸样本定位到摄像头检测得到的人脸图 像当中作为特征点的初始坐标； 其次，计算所有初始坐标点的Sift特征，记为Φ。； 最后，通过公式（3)进行回归迭代计算得到最终的面部特征点坐标， Xk=Xk-JRH ΦΗ+bH (3) 其中，Rk和b k是训练阶段得到的回归迭代参数，Φ k为每次迭代特征点的sift特 征。 进一步地，优选的是，步骤4中，眼睛嘴巴状态判断主要分为两个部分，即学习和 检测，前4秒为学习阶段，之后进入检测阶段； 在学习阶段，通过面部特征点，得到每一帧图像中的眼睛高度eyeHeight和人脸 宽度faceWidth，计算每一帧eyeHeight与faceWidth的比值rate，最后求出所有帧中rate 值的平均值rateMean，作为该驾驶员的面部特征，在检测阶段将用来判断眼睛的闭合状 态； 在检测阶段，通过面部特征点，得到左眼宽度IeftEyeWidth和右眼宽度 rightEyeWidth，比较 IeftEyeWidth 和 rightEyeWidth 的大小，得到较大的宽度 maxWidth 和较小的宽度minWidth ;当minWidth和maxWidth的比值大于0. 8时，说明两眼宽度值接 近，此时，人脸宽度faceWidth为两眼宽度和的3. 5倍。即 faceWidth = (maxffidth+minffidth) *3. 5 当minWidth和maxWi本文档来自技高网...

【技术保护点】
一种多姿态下的疲劳及非正常姿态驾驶检测方法，其特征在于，包括：步骤1：图像采集，采集驾驶员图像信息；步骤2：图像识别，对采集到的图像进行实时人脸检测；步骤3：面部特征点标定，包括：对检测到的人脸进行眼睛和嘴巴的特征点标定；步骤4：眼睛和嘴巴状态判断，包括：对特征点采用基于面部宽度信息的眼睛状态检测方法分析人眼与嘴巴的闭合状态；步骤5：头部三维姿态检测，包括：利用几何特征对头部三维姿态进行检测；步骤6：疲劳及非正常姿态驾驶状态判断，包括：根据人眼与嘴巴的闭合状态判断驾驶员是否处于疲劳，并根据头部三维姿态判断驾驶员是否处于非正常驾驶状态。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘哲，于涛，王鹏，冯仁委，苗政委，
申请(专利权)人：西安邦威电子科技有限公司，
类型：发明
国别省市：陕西;61