一种基于人脸关键点定位的面部疲劳检测方法技术

本发明专利技术公开了一种基于人脸关键点定位的面部疲劳检测方法，先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流，再对视频流中的每一帧图像进行处理，通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况，最后利用利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数，从而判断驾驶员是否出现疲劳驾驶，具有非常好的扩展性和灵活性。

【技术实现步骤摘要】
一种基于人脸关键点定位的面部疲劳检测方法
本专利技术属于人脸识别及判断
，更为具体地讲，涉及一种基于人脸关键点定位的面部疲劳检测方法。
技术介绍
疲劳检测是通过检测人体各种疲劳特征，及时发现疲劳状态并给出预警信号，涉及到许多学科的知识，是一个十分具有研究价值与现实价值的课题。驾驶员疲劳检测目前有较多的研究方法，按检测类别大致分为基于驾驶员生理信号的检测、基于驾驶员的操作行为的检测、基于车辆状态信息的检测和基于驾驶员生理反应的检测等方法。其中，基于驾驶员视觉图像的非接触式的检测具有非常大的潜力。但是现有的检测基于图像的驾驶员疲劳检测方法精确性不够，实时性不强，特别是当驾驶员头部发生移动的时候会出现检测结果有较大误差。利用Adaboost算法训练分类器对驾驶员图像进行人脸检测，获得人脸矩形框，在矩形框内进行stasm特征点定位，识别眼睛特征点，获取大致的眼睛矩形范围图像是比较常见的检测方法，但是该方法对训练样本要求比较高，眼睛嘴巴关键点需要分开计算，耗时较长，并且精度不高，对后续的疲劳检测计算有一定的影响，而且当头部有所偏移旋转，会造成判断结果有较大误差。本专利技术公开了一种基于人本文档来自技高网...

【技术保护点】
1.一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；(2)、获取每一帧中人脸图像的N＝32个人脸关键点(2.1)、利用回归方法实现当前人脸图像中的人脸对齐设第k个人脸关键点在正常人脸形状上的坐标为

【技术特征摘要】
1.一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；(2)、获取每一帧中人脸图像的N＝32个人脸关键点(2.1)、利用回归方法实现当前人脸图像中的人脸对齐设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为通过回归的方法，将回归到上实现人脸对齐；其中，表示第k个人脸关键点在正常人脸形状上所对应的SIFT特征，h()表示非线性特征提取函数，表示第k个人脸关键点在正常人脸形状上的坐标位置；Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值；||||2表示求二范数；(2.2)、在对齐后的当前人脸图像中提取人脸关键点其中，φk-1＝h(d(xk-1))是上一组人脸关键点提取出的SIFT特征，H、Jh分别是xk-1的海森矩阵和雅可比矩阵；(2.3)、SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk，使xk成功收敛为得到第k个人脸关键点坐标；xk＝xk-1+Rk-1φk-1+bk-1同理，按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标；(2.4)、将32个人脸关键点用向量表示为N＝(n1,n2,…,n32)(3)、对提取的N＝32个人脸关键点进行标注，其中，将n1～n6个人脸关键点标注为左眼关键点，将n7～n12个人脸关键点标注为右眼关键点，将n13～n32个人脸关键点标注为嘴部关键点；(4)、根据标准三维模型与二维投影之间的关系，将倾斜的头像进行矫正其中，(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度，qk表示当前人脸图像中第k个人脸关键点的位置向量，pk表示标准三维模型中第k个人脸关键点的位置向量，R代表旋转矩阵，τ为空间偏移向量，c为伸缩因子；其中，旋转矩阵R三个矩阵相乘得到：(5)、根据左右眼关键点之间距离判断是否闭合(5.1)、根据左右眼关键点的坐标位置，分别计算出左、右眼两个眼角关键点间的距离d1、d2，以及左、右眼四个眼睑关键点间的距离，其中，左眼中上下对称的两组眼睑关键点间的距离为d3、d4，右眼中上下对称的两组眼睑关键点间的距离为d5、d6；(5.2)、判断左眼是否闭合：用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和，得到比值Δd1，再将Δd1与左眼闭合阈值T1＝3.3比较，如果Δd1＞T1，则表明左左眼闭合，反正则表示左眼未闭合；(5.3)、判断右眼是否闭合：用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和，得到比值Δd2，再将Δd2与右眼闭合阈值T...

【专利技术属性】
技术研发人员：程洪，甘路涛，胡江平，赵洋，郝家胜，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51