一种实时疲劳提示的方法及装置制造方法及图纸

本发明专利技术公开了一种实时疲劳提示的方法及装置。该方法包括：实时监测用户面部状态视频信息；发送视频信息到处理单元；判断用户是否处于疲劳状态；记录下用户每个时刻的状态，若用户在一分钟内疲劳状态次数超过阀值则发出声音或者其它提示。一种实时疲劳提示装置，该装置包括：监测单元、存储单元、输出单元、视频处理单元及接口总成，监测单元，存储单元及输出单元通过接口总成与视频处理单元相连接。本发明专利技术的优点是：通过非接触方式连续监测用户的面部状态，在用户处于疲劳状态下提醒用户注意休息并提供长期的用户状态历史信息，帮助用户提高学习或工作效率，同时利于用户避免过度疲劳，保持健康工作习惯。

【技术实现步骤摘要】
一种实时疲劳提示的方法及装置
本专利技术涉及电子产品领域，尤其涉及一种实时疲劳提示的方法及装置。
技术介绍
疲劳是一种生理、心理异常状态，其表现是:大脑反应迟钝，头麻木或者疼痛，注意力分散，思维滞缓，长期在疲劳状态下工作、学习效率低下，对用户十分不利。基于图像的疲劳检测算法主要是通过定位并跟踪眼睛及嘴巴。判断眼睛睁开、闭合状态以及嘴巴的张开程度进行判断。但是眼睛瞳孔的精确定位存在困难容易受光照等环境的影响，对嘴巴状态的判断也存在相似的困难。为了定位眼睛及嘴巴，还需要首先定位人脸。需要一种简单快速的人脸识别方法，因为表情识别阶段需要进 行大量计算，因此在人脸定位阶段应当尽量节省计算时间。本专利技术从摄像头捕捉的图像，使用基于整数运算的BM_LBP描述符搜索人脸，该方法快速有效，可以节省计算资源用于进行疲劳状态的判断。本专利技术把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。
技术实现思路
本专利技术从监测单元捕捉的图像实时检测出用户的疲劳状态，采用基于整数运算的BM_LBP描述符搜索人脸，该方法快速有效并且可以节省计算资源用于进行疲劳状态的判断。本专利技术把整个面部表情作为整体进行疲劳表情判断，并且依据整体的统计信息而非依据眼球、嘴巴的几何形状，因此简化了判断过程并且提高了对光照等外部条件变化下判断用户疲劳的鲁棒性。为解决现有技术问题，设计了一种实时疲劳提示的方法，该方法包括以下步骤:I)实时采集用户面部状态视频信息；2)发送视频信息到视频处理单元；3)判断用户是否处于疲劳状态；4)提示用户注意休息。进一步地，判断用户是否处于疲劳状态包括如下步骤:3-1)使用级联分类器识别出视频信息里的用户面部；3-2)将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征；3-3)根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态；3-4)连续记录用户的状态，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值η则进行提醒。进一步地，使用级联分类器识别出视频信息里的用户面部的步骤如下:3-1-1)采用多区块局部二值模式(MB_LBP)算子作为特征描述符；3-1-2)读取在计算机上离线训练的瀑布型级联分类器；3-1-3)以24X24的窗口在监视画面进行滑动扫描，在每一个窗口均使用级联分类器判断该窗口位置是否是人脸，若是人脸则标记出人脸位置；3-1-4)将窗口放大1.2倍重复上述扫描检测，标记较大的人脸位置，重复5次将搜索到的人脸位置进行合并；进一步地，将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征的步骤如下:3-2-1)对搜索到的人脸进行尺度归一化为56X56像素；3-2-2)对归一化后的人脸图像进行直方均衡化等预处理；3-2-3)将图像矩阵按行拉直成为3136维的列向量gamma ；3-2-4)对拉直后的列向量进行投影:y = W/ ( gamma -Ψ)其中W1为PCA投影矩阵，Ψ为平均脸，投影后I降低到20维； 3-2-5)使用PCA法离线计算W1及Ψ ;进一步地，根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态的步骤如下:3-3-1)对主主成分y进行投影z = W2Ty，其中W2是仅有一列的矩阵，ζ为标量；3-3-2)ζ>0即可认为是疲劳状态，增加一个阀值Θ给用户设置以满足不同需求，阀值Θ越高则误判越少更加准确，阀值Θ越低则漏判越少更加敏感。ζ> Θ判断处于疲劳状态；3-3-3)使用标记有非疲劳状态(第一类)及疲劳状态(第二类)的人脸图片根据线性判别的方法离线训练，以得到投影矩阵W2。进一步地，该方法还包括以下步骤:在存储单元存储用户状态信息，保存用户每次学习或工作状态的历史记录，帮助用户改善学习或工作计划。一种实时疲劳提示的装置，该装置包括:监测单元，负责实时采集用户面部状态视频信息并发送视频信息到视频处理单元；视频处理单元，负责通过图像算法处理判断用户是否处于疲劳状态，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值η则进行提醒；输出单元，负责声音及图像的输出包括发出声音提示用户及显示相关信息；存储单元负责保存记录用户历史信息；接口总成，负责视频处理单元与外部设备的连接及通讯。进一步地，所述视频处理单元为ARM处理器及DSP数字信号处理器。进一步地，所述输出单元为IXD显示器及扬声器。进一步地，所述装置还包括:存储单元，所述存储单元为内置闪存及外部数字存储卡。上述判断用户是否处于疲劳状态的方法步骤3-1)所述级联分类器需要通过Adaboost离线训练；步骤3-2)所述PCA提取面部主成分需要离线进行PCA训练；3_3)所述LDA判断当前用户是否处于疲劳状态需要离线进行LDA训练。Adaboost训练用以检测人脸。使用人脸图片(正样本)及背景图片(负样本)通过Adaboost算法得到级联分类器。使用MB_LBP编码作为Adaboost算法中的弱分类器的输入，使用CART算法生成的二叉树作为弱分类器，也就是说，在Adaboost训练中使用分类与回归树(CART)作为弱分类器，该弱分类器以MB_LBP特征的bit位进行分类。MB-LBP根据3X3个相连接的共9个连续矩形区域，按中心区灰度值之和与8个相邻矩形区灰度值之和的比较，采用和局部二值模式(LBP)相似的方法得到编码。MB_LBP编码的数值大小没有意义而是表示总共256种不同状态中的一种。[0041 ] 使用CART树对样本分类得到弱分类器fm (X) e -1,1使正样本映射为I，负样本映射为-1。CART树的构建根据Gini指标，MB_LBP编码8个二进制位中使得整个CART树Gini指标降低量最大的二进制位作为分裂点选取依据。PCA训练根据大量人脸图片样本计算平均脸Ψ及投影矩阵Wp投影矩阵W1由样本协方差矩阵C前20个最大特征值对应的特征向量组成。用以从人脸图像提取主成分并降维。 LDA训练将人脸图片样本分为两类，即非疲劳状态(第一类样本)和疲劳状态(第二类样本)。根据PCA训练的结果将人脸提取主成分y = W/ ( gamma -Ψ)，对样本主成分y进行训练。根据样本的分类，计算类间散射矩阵Sb和类内散射矩阵Sw。矩阵S/SB最大特征值对应的特征向量组成投影矩阵W2。投影矩阵W2用以进行分类投影，z = W2Ty实现类间分布最大化，而类内分布最小化。该方法实时检测包括以下步骤:从CCD采集用户视频流的一帧到缓存，提取亮度信息得到灰度图像；用24X24的窗口在灰度图像中进行滑动扫描搜索人脸，窗口连续放大5次以检测不同尺度的人脸，检测完后合并人脸位置；根据人脸位置提取用户面部图像，并将尺度缩放到56X56像素。对面部图像进行直方均衡化处理然后提取主成分y = W11 ( gamma - Ψ);将主成分投影到一维得到疲劳值z = ff2Ty ；连续记录用户疲劳值z，若在一分钟内ζ > Θ的次数达到一定数量则发出声音提醒。在本专利技术中，我们设定的疲劳监测时间范围以I分钟为本文档来自技高网...

【技术保护点】
一种实时疲劳提示的方法，其特征在于，该方法包括以下步骤：实时采集用户面部状态视频信息；发送视频信息到视频处理单元；判断用户是否处于疲劳状态；提示用户注意休息。

【技术特征摘要】
1.一种实时疲劳提示的方法，其特征在于，该方法包括以下步骤: 实时采集用户面部状态视频信息； 发送视频信息到视频处理单元； 判断用户是否处于疲劳状态； 提示用户注意休息。2.根据权利要求1的一种实时疲劳提示的方法，其特征在于，判断用户是否处于疲劳状态包括如下步骤: 使用级联分类器识别出视频信息里的用户面部； 将用户面部图像尺寸归一化，然后使用主成分分析法(PCA)提取面部主成分特征；根据面部主成分信息，采用基于Fisher线性判别的方法(LDA)判断当前用户是否处于疲劳状态； 在存储单元连续记录用户的状态信息，若用户在设定时间内出现的疲劳状态次数超过设定的疲劳次数提示阀值η则进行提醒。3.根据权利要求1或2之一所述的一种实时疲劳提示的方法，其特征在于，使用级联分类器识别出视频信息里的用户面部的步骤如下: 采用多区块局部二值模式(MB_LBP)算子作为特征描述符； 读取在计算机上离线训练的瀑布型级联分类器。 以24X24的窗口在监视画面进行滑动扫描，在每一个窗口均使用级联分类器判断该窗口位置是否是人脸，若是人脸则标记出人脸位置； 将窗口放大1.2倍重复上述扫描检测，标记较大的人脸位置，重复5次。将搜索到的人脸位置进行合并。4.根据权利要求1或2之一所述的一种实时疲劳提示的方法，其特征在于:将用户面部图像尺寸归一化，然后使用主成分分析法提取面部主成分特征的步骤如下: 对搜索到的人脸进行尺度归一化为56X56像素； 对归一化后的人脸图像进行直方均衡化等预处理； 将图像矩阵按行拉直成为3136维的列向量g...

【专利技术属性】
技术研发人员：刘东，
申请(专利权)人：湖南纽思曼导航定位科技有限公司，
类型：发明
国别省市：湖南;43