基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置制造方法及图纸

一种基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置，涉及驾驶者疲劳状态识别技术领域。本发明专利技术为了给出一个更加稳定可靠的识别结果，从而能够更加及时的侦测到疲劳表现并对驾驶者进行更早预警。本发明专利技术包括训练和识别两个过程，其中训练过程需要对每个区域所提取的特征进行评价与选择，从而生成对应每个区域的精简特征集，并基于这些精简特征集合训练一组C4.5分类器，而在识别过程只需提取这些特征来进行分类。两上过程均对人脸区域进行区域划分，提取人脸各区域与疲劳表情相关的静态特征与序列描述特征。本发明专利技术有效提高对于驾驶者疲劳状态的识别性能，通过精简的特征集合获得对驾驶者疲劳状态平均更高的识别率。

Method and device for identifying driver's fatigue state based on feature selection and facial multi region classifier ensemble

The invention discloses a method and a device for identifying a driver's fatigue state based on feature selection and facial multi region classifier integration, relating to the technical field of the driver's fatigue state identification. In order to give a more stable and reliable identification result, the invention can detect fatigue performance more promptly and give an earlier warning to the driver. The present invention includes two processes of training and recognition, the training process to extract features of each area of evaluation and selection to generate simplified characteristics corresponding to each region, and on the basis of the reduced feature set to train a set of C4.5 classifier, and the recognition process only need to extract these features to classify. In the two process, the face area is divided into regions, and the static features and sequence description features related to the facial expression are extracted. The invention effectively improves the recognition performance of a driver's fatigue state, and obtains an average higher recognition rate of a driver's fatigue state through a reduced feature set.

【技术实现步骤摘要】
基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法与装置
本专利技术属于模式识别中驾驶者疲劳状态识别
，具体设计了一种基于特征选择和分类器集成技术，利用人脸多区域精简特征进行驾驶者疲劳状态识别的方法与装置。
技术介绍
对驾驶者疲劳状态进行识别是一个具有挑战性的模式识别问题，现有的技术主要是针对发生疲劳时两个比较明显的表现，即眨眼频率变慢，开度变小以及出现打哈欠的特征来进行识别。仅关注这两种显著的特征来判定驾驶者的状态存在一定的不足，首先，这种识别技术往往不能够在驾驶者发生疲劳的早期进行预警，往往只有当驾驶者几乎打瞌睡的时候才能给出预警，事实上，此时驾驶者已经处于危险之中了。其次，虽然这两种特征比较显著，但是没有证据表示这是判定疲劳的最优特征，而且，通过眨眼开度与频率来识别疲劳，需要非常清晰并且焦距固定的图像才能进行准确的识别，这在实际使用中很难做到；而打哈欠有些时候并不一定表示真正疲劳。往往在这些表现前后的一些面部特征对于辨识疲劳状态会产生启发作用。如何对与疲劳相关的特征进行评价和选择，以及如何将面部不同区域的特征有效联系起来，是有效进行疲劳状态识别的关键。但是，一直以来没有基于类似思路的驾驶者疲劳状态识别方法和装置公开出来。
技术实现思路
本专利技术的目的是要克服现有技术仅能对于
技术介绍
提到的两种与疲劳相关的表现进行识别的不足，提供一种更具一般性的疲劳状态识别方法，能够通过学习出一些不易被观察得到的有效的特征描述，结合人脸各个区域的综合表现，给出一个更加稳定可靠的识别结果，从而能够更加及时的侦测到疲劳表现并对驾驶者进行更早预警。具体地，该方法首先对于人脸与疲劳相关的特征进行特征评价与选择，从而获得对于疲劳表征更加相关与高效的精简特征子集，基于这些在各个人脸子区域上的有效特征集合合理地选用一组分类器进行分类并对识别结果进行集成，与现有方法对比，该方法所提取的特征兼顾面部状态以及状态变化的时序描述特征，并且经过特征选择后，得到的特征对于疲劳状态的表征更具相关性，不同区域的多个分类器具有良好的互补性，对于疲劳状态的平均识别率显著提高。同时，该方法亦可视为一个应用框架，如果有更好的特征描述手段以及更好的分类器，都可以轻易进行替换，或可进一步提高分类性能。本专利技术为解决上述技术问题采取的技术方案是：一种基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法，所述驾驶者疲劳状态识别方法的实现过程为：一、训练过程：步骤1：通过视频摄录获取人脸视频帧，用帧差法初步定位人脸区域，捕获新的视频帧；步骤2：通过Haar-like特征结合AdaBoost算法框架，进行人脸区域定位；步骤3：对人脸区域进行区域划分，提取人脸各区域与疲劳表情相关的静态特征与序列描述特征(序列描述特征也即动态特征)；基于每幅人脸视频帧中人脸的状态，对每帧图像进行类别标注；步骤4：对各个区域得到的特征进行评价和选择，对应生成各区域的精简特征描述子集；步骤5：用各个区域所得到的特征子集训练一组C4.5分类器，所述分类器将用于识别过程中；二、识别过程：步骤1、捕获驾驶者面部视频并获取视频帧；步骤2、应用AdaBoost算法框架基于Haar-like特征对人脸区域进行检测与定位：步骤3、对人脸区域进行划分，对面部与疲劳表现相关的全局以及各子区域进行静态和动态特征提取，在不同区域提取相应的精简特征，所提取的特征根据训练过程决定；步骤4、利用一组学习好的C4.5决策树分类器对各个区域特征给出一个分类判别结果，然后对不同区域上对应的分类器进行投票表决，最终给出综合判别结果，从而决定是否对驾驶者进行疲劳预警；每个C4.5决策树分类器是通过训练过程得到的。在训练过程的步骤3中，提取特征时，整个人脸区域作为一个全局区域，另外再分割出8个子区域分别计算特征；提取序列描述特征时，设定的滑动时间窗大小为23；全局区域所提取的是5维LLE低维嵌入特征，每个子区域基于灰度共生矩阵提取4个纹理统计特征：角二阶矩(ASM)，熵(EN)，对比度(CON)以及反差分矩(IDM)；基于上述静态特征，分别各自计算出9个序列特征：峰值(PV)，均值(M)，标准偏差(STD)，均方根(RMS)，波形因子(SF)，偏斜度(S)，峰度(K)，波峰因子(CF)以及脉冲指数(PI)，从而形成动态特征。在训练过程的步骤4中，基于模糊粗糙集技术对各个区域得到的特征进行评价和选择，得到各区域的精简特征描述子集，具体过程如下：首先给出依赖度的定义：采用高斯核函数进行下近似计算：式中，Rθdi(x)表示样本x必然属于决策di的程度，进一步给出决策D对属性子空间B的依赖度定义：式中，U为样本集合；表示计算集合基数；然后基于依赖度的定义，给出特征选择算法，步骤如下：输入：<U,A,D>，U为样本集合，A为条件属性集合，D为决策属性。输出：精简的特征子集F；1)要选择特征的特征子集F，最初特征子集是空集合2)当通过一个循环来选，最大循环次数就是全部特征的个数；3)遍历搜索ai∈A-F；4)计算F中加入这个特征后的依赖度5)搜索结束；6)选择a∈A-F，每轮循环选择加入该特征后依赖度提升最大的那个特征7)如果剩下的特征加入后对于依赖度提升不大，即γFUa(D)-γF(D)≤ε，8)则循环中止；9)结束循环；10)每次把选择出来的特征放到F中，FUa→F，最终F就是选取的特征子集，最终每个区域保留15个特征；11)结束特征选择；12)返回最终的F这个精简特征子集。在识别过程的步骤2中，检测过程会对每一帧图像的不同位置以及不同大小的矩形窗口依次进行检测，找到一个合理的人脸区域；每一个检测窗口是否具备的Haar-like特征就是级联结构中的一个弱分类器，通过弱分类器级联结构可快速排除非人脸区域，准确地定位出人脸区域。对应的，本专利技术还提供了一种基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别装置，所述驾驶者疲劳状态识别装置包括：图像获取模块，用于对检测对象的视频捕获以及视频帧提取；ROI区域定位模块，用于触发基于Haar-like特征的级联结构分类器在提取帧中的不同位置进行可变窗口大小的人脸检测，并对检测到的人脸进行子区域划分；ROI区域特征提取模块，用于对得到的人脸全局部分以及各个子区域部分进行特征提取，并同时能根据训练阶段特征选择的结果仅提取相应的特征；疲劳状态集成判别模块，用于对当前被监控的驾驶者的驾驶状态进行评估，它由一组针对不同区域的C4.5分类器构成，其判别函数可以描述为：y*＝argmax[count(C(Xk,I)＝＝y)]其中，C(Xk,I)表示一个对应人脸图像I的第k个区域的特征子集Xk的C4.5分类器的分类结果，结果有两种，1为疲劳状态，0为非疲劳状态；count(·)是一个计数函数。所述驾驶者疲劳状态识别装置还包括：人脸状态标注模块，用于通过人机交互界面获取用户基于人脸状态对每帧视频图像的标注结果，以及“基于每幅人脸视频帧中人脸的状态，对每帧图像进行类别标注。由上述技术方案可获得本专利技术具有如下技术效果：(1)本专利技术通过对人脸区域进行划分并针对不同区域提取包含静态与序列的不同描述特征，使得对于驾驶者状态的面部描述信息更加全面和丰富，通过构造一组分别对应不同区域的C4.本文档来自技高网...

【技术保护点】
一种基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法，其特征在于：所述驾驶者疲劳状态识别方法的实现过程为：一、训练过程：步骤1：通过视频摄录获取人脸视频帧，用帧差法初步定位人脸区域，捕获新的视频帧；步骤2：通过Haar‑like特征结合AdaBoost算法框架，进行人脸区域定位；步骤3：对人脸区域进行区域划分，提取人脸各区域与疲劳表情相关的静态特征与序列描述特征；基于每幅人脸视频帧中人脸的状态，对每帧图像进行类别标注；步骤4：对各个区域得到的特征进行评价和选择，对应生成各区域的精简特征描述子集；步骤5：用各个区域所得到的特征子集训练一组C4.5分类器，所述分类器将用于识别过程中；二、识别过程：步骤1、捕获驾驶者面部视频并获取视频帧；步骤2、应用AdaBoost算法框架基于Haar‑like特征对人脸区域进行检测与定位：步骤3、对人脸区域进行划分，对面部与疲劳表现相关的全局以及各子区域进行静态和动态特征提取，在不同区域提取相应的精简特征，所提取的特征根据训练过程决定；步骤4、利用一组学习好的C4.5决策树分类器对各个区域特征给出一个分类判别结果，然后对不同区域上对应的分类器进行投票表决，最终给出综合判别结果，从而决定是否对驾驶者进行疲劳预警；每个C4.5决策树分类器是通过训练过程得到的。...

【技术特征摘要】
1.一种基于特征选择和面部多区域分类器集成的驾驶者疲劳状态识别方法，其特征在于：所述驾驶者疲劳状态识别方法的实现过程为：一、训练过程：步骤1：通过视频摄录获取人脸视频帧，用帧差法初步定位人脸区域，捕获新的视频帧；步骤2：通过Haar-like特征结合AdaBoost算法框架，进行人脸区域定位；步骤3：对人脸区域进行区域划分，提取人脸各区域与疲劳表情相关的静态特征与序列描述特征；基于每幅人脸视频帧中人脸的状态，对每帧图像进行类别标注；步骤4：对各个区域得到的特征进行评价和选择，对应生成各区域的精简特征描述子集；步骤5：用各个区域所得到的特征子集训练一组C4.5分类器，所述分类器将用于识别过程中；二、识别过程：步骤1、捕获驾驶者面部视频并获取视频帧；步骤2、应用AdaBoost算法框架基于Haar-like特征对人脸区域进行检测与定位：步骤3、对人脸区域进行划分，对面部与疲劳表现相关的全局以及各子区域进行静态和动态特征提取，在不同区域提取相应的精简特征，所提取的特征根据训练过程决定；步骤4、利用一组学习好的C4.5决策树分类器对各个区域特征给出一个分类判别结果，然后对不同区域上对应的分类器进行投票表决，最终给出综合判别结果，从而决定是否对驾驶者进行疲劳预警；每个C4.5决策树分类器是通过训练过程得到的。2.根据权利要求1所述的驾驶者疲劳状态识别方法，其特征在于：在训练过程的步骤3中，提取特征时，整个人脸区域作为一个全局区域，另外再分割出8个子区域分别计算特征；提取序列描述特征时，设定的滑动时间窗大小为23；全局区域所提取的是5维LLE低维嵌入特征，每个子区域基于灰度共生矩阵提取4个纹理统计特征：角二阶矩(ASM)，熵(EN)，对比度(CON)以及反差分矩(IDM)；基于上述静态特征，分别各自计算出9个序列特征：峰值(PV)，均值(M)，标准偏差(STD)，均方根(RMS)，波形因子(SF)，偏斜度(S)，峰度(K)，波峰因子(CF)以及脉冲指数(PI)，从而形成动态特征。3.根据权利要求1或2所述的驾驶者疲劳状态识别方法，其特征在于：在训练过程的步骤4中，基于模糊粗糙集技术对各个区域得到的特征进行评价和选择，得到各区域的精简特征描述子集，具体过程如下：首先给出依赖度的定义：采用高斯核函数进行下近似计算：式中，Rθdi(x)表示样本x必然属于决策di的程度，进一步给出决策D对属性子空间B的依赖度定义：

【专利技术属性】
技术研发人员：杜勇，王玉，郑书朋，
申请(专利权)人：东北农业大学，
类型：发明
国别省市：黑龙江,23