一种基于快速特征点定位的全天候哈欠检测方法及系统技术方案

本发明专利技术公开了一种基于快速特征点定位的全天候哈欠检测方法及系统，其中方法包括：采集驾驶员头部图像，利用Adaboost算法识别出驾驶员脸部区域；利用基于局部二值特征的形状回归算法定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域图像；对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠。有益效果：使用局部二值特征的形状回归算法，相比全局特征而言，计算量、噪声更少，实时性高；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。

An all weather yawn detection method and system based on fast feature point location

The invention discloses a all-weather detection method and system based on fast feature point location, the method comprises the following steps: image acquisition driver head, a driver face region using Adaboost algorithm using local feature point recognition; two eigenvalue shape regression algorithm based on the location of driver face region, and obtain the driver's mouth area according to the characteristics of image point the driver face region; the driver's mouth area image preprocessing after contour detection, according to the mouth opening and continuous opening time judging whether the driver is yawning. The beneficial effect of topical two eigenvalue shape regression algorithm, compared to the global feature, computation, less noise, high real-time; yawn judgment, mouth opening and opening time of continuous more than the preset value, to judge yawning for the driver, than just by single frame image of the mouth open to determine a more accurate yawn.

【技术实现步骤摘要】
一种基于快速特征点定位的全天候哈欠检测方法及系统
本专利技术涉及图像处理
，尤其是涉及一种基于快速特征点定位的全天候哈欠检测方法及系统。
技术介绍
哈欠是指人的嘴部从闭合到持续张开再到闭合的一个完整的状态过程，是反应人体疲劳程度的一个重要特征。一个可靠性高，实时性强以及适用性广泛的哈欠检测方法对于准确的进行疲劳检测来说极其重要。当前对于哈欠检测的方法较多。一种基于数字视频的驾驶员疲劳状态检测方法，采用基于时-空域约束的优化Adaboost人脸检测方法的进行人脸检测，利用人脸的检测与定位结果结合人脸五官的“三庭五眼”的几何特征规则，再查找嘴巴区域，在查找到嘴巴区域的基础上用链码描述嘴巴轮廓，然后在频域中提取嘴巴的频谱特征，将该特征采用SVM训练，进而判别嘴巴哈欠状态。但上述专利仅仅依据人脸的几何规则确定嘴巴区域可靠性较低，考虑到每个人的脸部五官特征之间的几何约束均存在差异，而且在频域提取频谱特征再通过SVM训练识别哈欠状态工作量大、过于复杂而且耗时，因此在很大程度上降低了该方法实时性。一种疲劳驾驶检测方法，利用Harr特征人脸识别方法检测定位人脸区域，再依据嘴巴在人脸的几何位置关系结合灰度投影法确定嘴巴区域，检测嘴部的区域的形状变化，即宽高比的变化，然后统计一段时间内，嘴部宽高比小于某一固定阈值的图像帧数，若其中帧数超过设定阈值，则可以判断为哈欠动作。但上述专利依据几何位置关系和灰度投影法确定嘴部区域极其容易受光照变化的影响而导致嘴巴区域定位失败，而且该方法采用灰度信息，无法适用于红外环境下，因此该方法的可靠性非常低，从而直接影响哈欠检测准确度。当前哈欠检测方法较多，但目前的哈欠检测方法在准确性(嘴部张开大小，张开持续时间)，可靠性(嘴部精确定位)以及适用性(白天夜间)等方面尚存在的一些不足之处。
技术实现思路
本专利技术的目的在于克服上述技术不足，提出一种基于快速特征点定位的全天候哈欠检测方法及系统，解决现有技术中的上述技术问题。为达到上述技术目的，本专利技术的技术方案提供一种基于快速特征点定位的全天候哈欠检测方法，包括：S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。本专利技术还提供一种基于快速特征点定位的全天候哈欠检测系统，包括：脸部识别模块：利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；嘴部识别模块：利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；哈欠判断模块：对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。与现有技术相比，本专利技术的有益效果：使用了基于局部二值特征的形状回归算法，相比全局特征而言，噪声更少，减少了计算量，可以快速地进行脸部特征点定位,从而可以快速定位嘴巴位置，获取驾驶员嘴部区域图像，实时性高；借助具有红外补光功能的图像采集装置，不同光照强度下，均可采集清晰驾驶员头部图像，准确定位驾驶员脸部区域的特征点，并根据采集驾驶员头部图像时的光照强度自动选择对于驾驶员嘴部区域图像的不同预处理操作，使得哈欠判断更加准确，不易受光照环境影响，适应性强；根据驾驶员脸部区域的特征点获取驾驶员嘴部位置、图像，比通过五官几何位置关系确定嘴部位置更准确；哈欠判断时，嘴部的张开度超过张开度预设值时并持续一定时间时，才判断为驾驶员打哈欠，比仅仅通过单帧图像的嘴部张开度来判断哈欠更加准确。附图说明图1是本专利技术提供的一种基于快速特征点定位的全天候哈欠检测方法流程图；图2是本专利技术提供的一种基于快速特征点定位的全天候哈欠检测系统结构框图；图3是本专利技术的Adaboost训练算法流程图；图4是本专利技术的基于局部二值特征的形状回归算法流程图。附图中：1、基于快速特征点定位的全天候哈欠检测系统，11、脸部识别模块，12、嘴部识别模块，13、哈欠判断模块。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供了一种基于快速特征点定位的全天候哈欠检测方法，包括：S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由嘴部轮廓计算嘴部的张开度和持续张开时长，根据嘴部的张开度和持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。本专利技术所述的基于快速特征点定位的全天候哈欠检测方法，步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括：S11、准备训练样本：设Adaboost训练过程中样本集合为：{(x1,y1),(x2,y2),(x3,y3),…(xn,yn)}其中，yi＝0或1，分别表示该训练样本为负样本(非人脸样本)或正样本(人脸样本)；S12、初始化样本权重：根据yi设置初始化权值，当yi＝0时，w1,i＝1/2m，当yi＝1，w1,i＝1/2l，其中m和l分别表示正负样本的个数，若总样本数为n，则n＝m+l；S13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值，具体为：首先，根据归一化样本权重系数，表示在第t次迭代中的第j个训练样本的权值等于该样本的训练参数除以该次训练迭代中的所有的样本的权值的总和；然后，在输入的样本中，根据每一个Haar-Like特征fj，可训练出一个仅仅依赖于单一特征的弱分类器hj，该弱分类器的分类误差为：选择使得当前分类错误率最小的弱分类器ht；使用公式重新计算并分配训练样本的权值，其中，j为样本序号，若在本次迭代过程中样本j被正确分类，则ej＝0；反之则ej＝1。βt＝εt/(1-εt)；S14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S13继续训练分类器，如果达到预设次数，则进行步骤S15；S15、结束训练，获取强分类器，最终得到的强分类器h(本文档来自技高网...

【技术保护点】
一种基于快速特征点定位的全天候哈欠检测方法，其特征在于，包括步骤：S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由所述嘴部轮廓计算嘴部的张开度和持续张开时长，根据所述嘴部的张开度和所述持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。

【技术特征摘要】
1.一种基于快速特征点定位的全天候哈欠检测方法，其特征在于，包括步骤：S1、利用具有红外补光功能的图像采集装置采集驾驶员头部图像，利用Adaboost算法训练出识别脸部区域的分类器，利用训练出的所述分类器对驾驶员头部图像进行识别从而识别出驾驶员脸部区域；S2、利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型，利用训练出的所述模型定位驾驶员脸部区域的特征点，并根据驾驶员脸部区域的特征点获取驾驶员嘴部区域位置和图像；S3、对驾驶员嘴部区域图像进行预处理操作之后进行轮廓检测，筛选出嘴部轮廓，由所述嘴部轮廓计算嘴部的张开度和持续张开时长，根据所述嘴部的张开度和所述持续张开时长判断驾驶员是否打哈欠以及统计打哈欠的次数。2.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S1中利用Adaboost算法训练出识别脸部区域的分类器的步骤包括：S11、准备训练样本；S12、初始化样本权重；S13、归一化样本权重系数，计算每个样本特征点分类误差，选取分类误差最小的弱分类器，然后重新计算并分配训练样本的权值；S14、判断训练迭代总次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S13，如果达到预设次数，则进行步骤S15；S15、获取强分类器。3.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S2中利用基于局部二值特征的形状回归算法训练定位脸部特征点的模型的步骤包括：S21、准备训练样本；S22、预处理训练样本；S23、对样本进行坐标变换，构建平均形状模型；S24、设置训练模型参数；S25、训练随机森林，获得特征映射函数，提取局部二值特征，对形状进行全局线性回归，并对形状进行更新；S26、判断回归次数是否达到预设次数，如果没有达到预设次数，则循环执行步骤S25，如果达到预设次数，则保存模型。4.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S3中对驾驶员嘴部区域图像进行预处理的步骤为：根据S1中采集驾驶员头部图像时环境的光照强度选择基于最大阈值分割法计算二值化阈值从而获取所述驾驶员嘴部区域图像的二值化图像或者基于YIQ表色系统进行唇色阈值分割从而获取所述驾驶员嘴部区域图像的二值化图像。5.如权利要求1所述的基于快速特征点定位的全天候哈欠检测方法，其特征在于，步骤S3中：用椭圆对所述嘴部轮廓进行拟合，以拟合的椭圆长短轴长度比值为所述嘴部的张开度；当所述嘴部的张开度超过张开度预设值时，开始计算所述持续张开时长，当所述嘴部的张开度小于张开度预设值时，停止计算所述持续张开时长，如果计算的持续张开时长超过张开时长预设值时，判定驾驶员在打哈欠，并计入...

【专利技术属性】
技术研发人员：徐文平，韩守东，刘文龙，
申请(专利权)人：湖北天业云商网络科技有限公司，
类型：发明
国别省市：湖北,42