一种基于人脸关键点定位的面部疲劳检测方法技术

本发明专利技术公开了一种基于人脸关键点定位的面部疲劳检测方法，先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流，再对视频流中的每一帧图像进行处理，通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况，最后利用利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数，从而判断驾驶员是否出现疲劳驾驶，具有非常好的扩展性和灵活性。

【技术实现步骤摘要】
一种基于人脸关键点定位的面部疲劳检测方法
本专利技术属于人脸识别及判断
，更为具体地讲，涉及一种基于人脸关键点定位的面部疲劳检测方法。
技术介绍
疲劳检测是通过检测人体各种疲劳特征，及时发现疲劳状态并给出预警信号，涉及到许多学科的知识，是一个十分具有研究价值与现实价值的课题。驾驶员疲劳检测目前有较多的研究方法，按检测类别大致分为基于驾驶员生理信号的检测、基于驾驶员的操作行为的检测、基于车辆状态信息的检测和基于驾驶员生理反应的检测等方法。其中，基于驾驶员视觉图像的非接触式的检测具有非常大的潜力。但是现有的检测基于图像的驾驶员疲劳检测方法精确性不够，实时性不强，特别是当驾驶员头部发生移动的时候会出现检测结果有较大误差。利用Adaboost算法训练分类器对驾驶员图像进行人脸检测，获得人脸矩形框，在矩形框内进行stasm特征点定位，识别眼睛特征点，获取大致的眼睛矩形范围图像是比较常见的检测方法，但是该方法对训练样本要求比较高，眼睛嘴巴关键点需要分开计算，耗时较长，并且精度不高，对后续的疲劳检测计算有一定的影响，而且当头部有所偏移旋转，会造成判断结果有较大误差。本专利技术公开了一种基于人脸关键点检测的疲劳检测系统。该系统搭建成本低，对于人脸左右的转动也具有良好的鲁棒性，并且实时性良好，驾驶员处于疲劳状态能够及时发出提醒，可以将需要的眼睛和嘴巴关键点准确快速的检测出来。在判断是否疲劳的时候，本专利技术采用几何方法进行判断，保证了准确性的同时，也提高了速度。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于人脸关键点定位的面部疲劳检测方法，根据人脸关键点的相对位置，利用几何方法来判断是否眨眼和打哈欠等比较明显的疲劳特征。为实现上述专利技术目的，本专利技术一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；(2)、获取每一帧中人脸图像的N＝32个人脸关键点(2.1)、利用回归方法实现当前人脸图像中的人脸对齐设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为k＝1,2,…,N；通过回归的方法，将回归到上实现人脸对齐；其中，表示第k个人脸关键点在正常人脸形状上所对应的SIFT特征，h()表示非线性特征提取函数，表示第k个人脸关键点在正常人脸形状上的坐标位置；Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值；||||2表示求二范数；(2.2)、在对齐后的当前人脸图像中提取人脸关键点其中，φk-1＝h(d(xk-1))是上一组人脸关键点提取出的SIFT特征，H、Jh分别是xk-1的海森矩阵和雅可比矩阵；(2.3)、SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk，使xk成功收敛为得到第k个人脸关键点坐标；xk＝xk-1+Rk-1φk-1+bk-1同理，按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标；(2.4)、将32个人脸关键点用向量表示为N＝(n1,n2,…,n32)(3)、对提取的N＝32个人脸关键点进行标注，其中，将n1～n6个人脸关键点标注为左眼关键点，将n7～n12个人脸关键点标注为右眼关键点，将n13～n32个人脸关键点标注为嘴部关键点；(4)、根据标准三维模型与二维投影之间的关系，将倾斜的头像进行矫正其中，(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度，qk表示当前人脸图像中第k个人脸关键点的位置向量，pk表示标准三维模型中第k个人脸关键点的位置向量，R代表旋转矩阵，τ为空间偏移向量，c为伸缩因子；其中，旋转矩阵R三个矩阵相乘得到：(5)、根据左右眼关键点之间距离判断是否闭合(5.1)、根据左右眼关键点的坐标位置，分别计算出左、右眼两个眼角关键点间的距离d1、d2，以及左、右眼四个眼睑关键点间的距离，其中，左眼中上下对称的两组眼睑关键点间的距离为d3、d4，右眼中上下对称的两组眼睑关键点间的距离为d5、d6；(5.2)、判断左眼是否闭合：用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和，得到比值Δd1，再将Δd1与左眼闭合阈值T1＝3.3比较，如果Δd1＞T1，则表明左眼闭合，反正则表示左眼未闭合；(5.3)、判断右眼是否闭合：用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和，得到比值Δd2，再将Δd2与右眼闭合阈值T2＝3.4比较，如果Δd1＞T2，则表明右眼闭合，反正则表示右眼未闭合；(6)、根据嘴部关键点之间距离判断是否闭合在嘴部关键点中，选取上、下嘴唇正中间各一个关键点，并计算这两个关键点间距离d；再将距离d与嘴部开合度阈值ζ＝40比较，如果d＞ζ，表示嘴部张开程度大于正常情况，反正则表示嘴部闭合或正常张嘴；(7)、重复步骤(2)～(6)，直到处理完单位时间t内视频流中的所有帧图像；(8)、利用PECLOS方法来检测是否处于疲劳状态在单位时间t内，以每一分钟为单位，利用PECLOS方法统计一分钟内驾驶员左右眼睛闭合次数，以及眼睛闭合时所占的时间比例，如果每分钟内左右眼睛闭合次数在10次以内，且眼睛闭合时所占的时间比例在4s以内，则判定该驾驶员在本分钟为正常眨眼，否则判定该驾驶员在本分钟内为疲劳驾驶；如果单位时间t内疲劳驾驶的分钟数大于阈值σ，则判定该驾驶员在该时间段t内为疲劳状态；利用PECLOS方法统计一分钟内驾驶员嘴部张开程度大于正常情况的次数，以及嘴部张开程度大于正常情况时所占的时间比例，如果嘴部张开程度大于正常情况的次数在2次以内，且嘴部张开程度大于正常情况时所占的时间比例在2s以内，则判定该驾驶员在本分钟为正常张嘴，否则判定该驾驶员在本分钟内为疲劳驾驶；如果单位时间t内疲劳驾驶的分钟数大于阈值ρ，则判定该驾驶员在该时间段t内为疲劳状态。本专利技术的专利技术目的是这样实现的：本专利技术一种基于人脸关键点定位的面部疲劳检测方法，先提取单位时间内驾驶员驾驶时包含整个面部表情的视频流，再对视频流中的每一帧图像进行处理，通过每一帧图像中人脸关键点来判断每一帧图像中是否存在眼睛闭合或嘴部张开过大等情况，最后利用利用PECLOS方法来检测单位时间内视频流中出现眼睛闭合或嘴部张开过大的次数，从而判断驾驶员是否出现疲劳驾驶，具有非常好的扩展性和灵活性。同时，本专利技术一种基于人脸关键点定位的面部疲劳检测方法还具有以下有益效果：(1)、通过使用SDM算法，直接获得了需要的眼睛和嘴部关键点，与Adaboost算法比较更适用与驾驶员检测，速度也有比较明显的提高；(2)、通过检测出的关键点之间的相对位置关系来判断是否疲劳，与检测瞳孔是否被眼皮遮挡等方法比较，具有十分明显的优势，可以省去很多算法步骤，降低了计算复杂度，优化了系统，几何方法同时也提高了计算的速度和准确性；(3)、通过眼睛检测与嘴巴检测结合，可以从不同的角度来判断驾驶员状态，不再单一的检测驾驶员一个特征，为后续的发展提供了可能性与方向。附图说明图1是本专利技术基于人脸关键点定位的面部疲劳检测方法流程图；图2是人脸关键点分布图；图3是人眼二维示意图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许本文档来自技高网...

【技术保护点】
1.一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；(2)、获取每一帧中人脸图像的N＝32个人脸关键点(2.1)、利用回归方法实现当前人脸图像中的人脸对齐设第k个人脸关键点在正常人脸形状上的坐标为

【技术特征摘要】
1.一种基于人脸关键点定位的面部疲劳检测方法，其特征在于，包括以下步骤：(1)、提取单位时间t内驾驶员驾驶时包含整个面部表情的视频流；(2)、获取每一帧中人脸图像的N＝32个人脸关键点(2.1)、利用回归方法实现当前人脸图像中的人脸对齐设第k个人脸关键点在正常人脸形状上的坐标为在当前人脸图像中的坐标为通过回归的方法，将回归到上实现人脸对齐；其中，表示第k个人脸关键点在正常人脸形状上所对应的SIFT特征，h()表示非线性特征提取函数，表示第k个人脸关键点在正常人脸形状上的坐标位置；Δxk表示第k个人脸关键点在正常人脸形状上和当前人脸图像上的坐标差值；||||2表示求二范数；(2.2)、在对齐后的当前人脸图像中提取人脸关键点其中，φk-1＝h(d(xk-1))是上一组人脸关键点提取出的SIFT特征，H、Jh分别是xk-1的海森矩阵和雅可比矩阵；(2.3)、SDM方法使用梯度下降向量Rk和重缩放因子bk更新xk，使xk成功收敛为得到第k个人脸关键点坐标；xk＝xk-1+Rk-1φk-1+bk-1同理，按照上述方法依次提取出当前帧中剩余N-1人脸关键点坐标；(2.4)、将32个人脸关键点用向量表示为N＝(n1,n2,…,n32)(3)、对提取的N＝32个人脸关键点进行标注，其中，将n1～n6个人脸关键点标注为左眼关键点，将n7～n12个人脸关键点标注为右眼关键点，将n13～n32个人脸关键点标注为嘴部关键点；(4)、根据标准三维模型与二维投影之间的关系，将倾斜的头像进行矫正其中，(α,β,γ)表示标准三维模型中人脸姿态的三个旋转角度，qk表示当前人脸图像中第k个人脸关键点的位置向量，pk表示标准三维模型中第k个人脸关键点的位置向量，R代表旋转矩阵，τ为空间偏移向量，c为伸缩因子；其中，旋转矩阵R三个矩阵相乘得到：(5)、根据左右眼关键点之间距离判断是否闭合(5.1)、根据左右眼关键点的坐标位置，分别计算出左、右眼两个眼角关键点间的距离d1、d2，以及左、右眼四个眼睑关键点间的距离，其中，左眼中上下对称的两组眼睑关键点间的距离为d3、d4，右眼中上下对称的两组眼睑关键点间的距离为d5、d6；(5.2)、判断左眼是否闭合：用左眼中眼角关键点间距离d1除以眼睑关键点间距离d3、d4之和，得到比值Δd1，再将Δd1与左眼闭合阈值T1＝3.3比较，如果Δd1＞T1，则表明左左眼闭合，反正则表示左眼未闭合；(5.3)、判断右眼是否闭合：用右眼中眼角关键点间距离d2除以眼睑关键点间距离d5、d6之和，得到比值Δd2，再将Δd2与右眼闭合阈值T...

【专利技术属性】
技术研发人员：程洪，甘路涛，胡江平，赵洋，郝家胜，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51