基于眼部运动细微特征的早期疲劳检测方法及系统技术方案

本发明专利技术涉及计算机视觉及视频分析技术领域，为基于眼部运动细微特征的早期疲劳检测方法及系统，其方法包括：检测出视频帧序列的人脸位置图像、人脸特征点位置；识别出帧序列中的眨眼帧序列以及眼球运动帧序列，将视频帧序列划分为眨眼与眼球运动交替的帧序列；获取关于每次眨眼的眨眼信息特征、眼球运动信息特征，并融合、组合为眼部运动细微特征序列；训练基于时序的神经网络模型得到疲劳程度检测模型；将需要预测的视频帧序列进行处理，获得人员的眼部运动细微特征序列，输入到疲劳程度检测模型中，判断出当前人员的疲劳程度。本发明专利技术可有效检测视频序列中人员的疲劳程度，检测结果包括：清醒、早期疲劳、疲劳，实现早期疲劳的检测。检测。检测。

【技术实现步骤摘要】
基于眼部运动细微特征的早期疲劳检测方法及系统


[0001]本专利技术涉及计算机视觉及视频分析
，特别涉及一种基于眼部运动细微特征的早期疲劳检测方法及系统。

技术介绍

[0002]疲劳检测技术在驾驶、高危作业等多种场景下均有重要的作用，及时的疲劳检测及警告能够有效防止交通意外或高危作业安全事故的发生。研究表明，驾驶员在长时间行驶后，对自我疲劳程度的感知能力会下降；在一些高危工作场景，工人在缺少睡眠的情况下，工作效率会下降，且有更高的安全风险。
[0003]目前主流的疲劳检测技术主要基于三种指标：分别是操作行为指标、生理信号指标、脸部反应指标。其中，操作行为指标往往需要在多个操作流程中植入传感器，如驾驶操作的刹车、加速、方向盘转动等等，这些传感器往往需要较高的成本；生理信号指标需要对人员的头部、身体等部位放置信号采集器，这种采集器往往是侵入式的，会对人员的正常行为造成一定影响；脸部反应指标主要通过朝向脸部的视频进行采集，如眼睛闭合程度、眨眼频率等，采集过程只需通过在人员的座位正前方摆放摄像头并进行视频录制即可，有成本低、泛用性强等优点。
[0004]目前基于脸部反应指标的疲劳检测技术，其主要基于比较明显的疲劳特征，如基于PERCLOS(眼睛闭合时间占特定时长百分比)的疲劳检测技术、基于哈欠检测的疲劳检测技术等。但意外事故的发生与这些明显的疲劳特征的出现之间的时间间隔往往很短，这些疲劳检测技术无法很好的对早期疲劳进行检测。

技术实现思路

[0005]为了解决现有技术所存在的问题，本专利技术提供一种基于眼部运动细微特征的早期疲劳检测方法及系统，通过对视频序列中眼部运动细微特征(如眨眼信息、眼球运动信息)的分析提取，本专利技术可以有效地检测视频序列中人员的疲劳程度，检测结果将输出三种：清醒、早期疲劳、疲劳，实现早期疲劳的检测。
[0006]根据本专利技术的基于眼部运动细微特征的早期疲劳检测方法，包括以下步骤：
[0007]S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出对应该帧的人脸特征点位置；
[0008]S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；
[0009]S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征；
[0010]S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间
的眼球运动信息特征；
[0011]S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列；
[0012]S6、对视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，得到疲劳程度检测模型；
[0013]S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将该视频帧序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。
[0014]根据本专利技术的基于眼部运动细微特征的早期疲劳检测系统，包括：
[0015]特征提取模块，用于按序从视频帧序列中读取出每帧图像信息，然后检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出人脸特征点；得到对应视频序列的人脸特征点帧序列后，再通过眨眼检测算法，识别出这些帧序列中，眨眼帧序列以及眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；对每次的眨眼帧序列应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征，对眼球运动帧序列应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；最后将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，以时间序列的方式组合作为眼部运动细微特征序列；
[0016]基于时序的神经网络模型训练模块，首先使用已标记疲劳程度的视频训练数据集，对每个视频帧序列采用所述特征提取模块进行处理，获得每个视频帧序列的眼部运动细微特征序列，并将其疲劳程度作为标签值；然后对神经网络模型输入这些眼部运动细微特征序列及其对应的标签值进行训练，获得输入为眼部运动细微特征序列、输出为相应疲劳程度的疲劳程度检测模型；
[0017]疲劳程度检测模块，输入需要预测疲劳程度的一段视频帧序列，通过所述特征提取模块进行处理，获得该视频帧序列的眼部运动细微特征序列；然后，将该眼部运动细微特征序列输入到训练好的疲劳程度检测模型中，获得疲劳程度的输出值。
[0018]相对于现有技术，本专利技术具有如下的优点及效果：
[0019]1、本专利技术针对每一次眨眼，提取了眨眼持续时间、眨眼幅度、眨眼速度、眨眼频率作为眨眼信息特征，针对每两次眨眼间的眼球运动过程，提取了眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度、平滑追踪速度作为眼球运动信息特征。由于提取了这些眼部运动细微特征，使神经网络模型能够关注到足够多的早期疲劳信息，进而能够有效检测出早期疲劳状态。
[0020]2、本专利技术提出了一种眼动信息提取算法，其采用基于眼睛虹膜两侧边缘垂直线位置进行定位，每帧获得共4个垂直线定位点，而现有的瞳孔中心法每帧仅获得2个瞳孔定位点，通过帧差信息，4个定位点相比2个定位点更容易排除异常值，且只需要有1个定位点的帧差信息准确即可准确计算该帧位移，其余3个定位点的帧差信息可以用作排错或推导。因此基于眼睛虹膜两侧边缘垂直线定位的方法具有更高的准确率和稳定性。
[0021]3、本专利技术对眼球运动模式进行了细分判别，在眼球运动提取算法中，针对眼球运动不同帧位移的大小，根据不同阈值划分为3种模式，分别为注视模式、平滑追踪模式、跳视
模式，充分描述眼球运动状态，可以更好地识别不同疲劳程度下的不同眼球运动模式，进而提高疲劳程度检测的准确率。
[0022]4、本专利技术采用基于时序的神经网络模型(如LSTM模型)，其能够有效提取视频序列中眼部运动细微特征序列间的时序信息，即每次眨眼、眼球运动间的时序信息，提高疲劳程度检测的准确率。
附图说明
[0023]图1是基于眼部运动细微特征的早期疲劳检测算法流程图；
[0024]图2是眨眼特征提取算法流程图；
[0025]图3是眼球运动信息提取算法流程图。
具体实施方式
[0026]下面结合实施例及附图对本专利技术作进一步详细的描述，但本专利技术的实施方式不限于此。
[0027]实施例
[0028]如图1所示，本实施例中基于眼部运动细微特征的早期疲劳检测方法步骤如下：
[0029]S1、按序从视频帧序列中读取出每帧图像信息，然后使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于眼部运动细微特征的早期疲劳检测方法，其特征在于，包括以下步骤：S1、按序从视频帧序列中读取出每帧图像信息，然后使用人脸检测算法检测出每一帧的人脸位置图像，再通过人脸位置图像及人脸特征点检测算法，检测出对应该帧的人脸特征点位置；S2、获得视频帧序列的若干帧人脸特征点位置后，通过眨眼检测算法，识别出这些帧序列中的眨眼帧序列以及眼球运动帧序列，两次眨眼帧序列之间的帧序列即为眼球运动帧序列，从而将视频帧序列划分为眨眼与眼球运动交替的帧序列；S3、对得到的每段眨眼帧序列，应用眨眼特征提取算法，获取关于每次眨眼的眨眼信息特征；S4、对得到的每段眼球运动帧序列，应用眼球运动信息提取算法，获取每次眨眼间的眼球运动信息特征；S5、将眨眼信息特征与眼球运动信息特征融合为眼部运动细微特征，并以时间序列的方式组合作为眼部运动细微特征序列；S6、对视频训练数据集，通过上述步骤S1-S5提取每个视频的眼部运动细微特征序列，存入到基于时序的神经网络模型中进行训练学习，得到疲劳程度检测模型；S7、对需要预测的视频，将相应的视频帧序列通过步骤S1-S5进行处理，获得视频帧序列中人员的眼部运动细微特征序列；然后将该视频帧序列输入到训练好的疲劳程度检测模型中，疲劳程度检测模型判断出人员的眼部运动模式属于哪种疲劳程度的运动模式，从而判断出当前人员的疲劳程度。2.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S2中的眨眼检测算法，采用当前帧加上当前帧前后各6帧的眼睛宽高比EAR作为特征，训练SVM分类器；然后使用训练好的SVM分类器进行眨眼检测。3.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S3中，利用眨眼特征提取算法找到眨眼序列帧中眼睛宽高比EAR值最低的帧作为眨眼当前帧；再向所述眨眼当前帧的前后两个方向分别查找对应眼睛宽高比EAR极大值的帧，前方向的则为眨眼开始帧，后方向的为眨眼结束帧；最终计算出单次眨眼的眨眼特征，包括：眨眼持续时间、眨眼幅度、眨眼速度及眨眼频率。4.根据权利要求3所述的早期疲劳检测方法，其特征在于，各眨眼特征的计算公式为：4.根据权利要求3所述的早期疲劳检测方法，其特征在于，各眨眼特征的计算公式为：4.根据权利要求3所述的早期疲劳检测方法，其特征在于，各眨眼特征的计算公式为：4.根据权利要求3所述的早期疲劳检测方法，其特征在于，各眨眼特征的计算公式为：其中，眨眼频率中的单位时间设定为最近若干秒；若该次眨眼发生时间距离视频开始
时间的间隔时间未达到单位时间，则此次计算中，单位时间取为该间隔时间。5.根据权利要求1所述的早期疲劳检测方法，其特征在于，步骤S4中，首先求得每帧对应的眼睛虹膜的两侧边缘垂直线位置，再根据人脸特征点中对应眼睛角点的位置，求得边缘的相对水平坐标，然后根据帧差信息，利用稳定的那端垂直线来计算眼球运动信息特征。6.根据权利要求3所述的早期疲劳检测方法，其特征在于，步骤S4中眼球运动信息特征，包括：眼球运动持续时间、注视持续时间、平滑追踪持续时间、跳视速度和平滑追踪速度；眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式；度；眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式；度；眼球运动的模式包括：注视模式、平滑追踪模式、跳视模式；度；眼...

【专利技术属性】
技术研发人员：纪庆革，谢宇光，单广威，印鉴，
申请(专利权)人：中山大学，
类型：发明
国别省市：