一种疲劳度检测方法及装置制造方法及图纸

本申请公开了一种疲劳度检测方法及装置，涉及车联网及智能检测技术领域。所述方法包括：拍摄视频片段；按照时间维度检测视频片段中的各人脸图像；提取各人脸图像中多个区域的特征点；根据该多个区域的特征点，确定相应人员的疲劳度。本申请中，通过提取人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，不仅提升了疲劳检测的准确率，而且在疲劳检测过程中不会对待检测人员造成任何干扰。

A Fatigue Detection Method and Device

This application discloses a fatigue detection method and device, which relates to the field of vehicle networking and intelligent detection technology. The method includes: shooting video clips; detecting face images in video clips according to time dimension; extracting feature points of multiple regions in each face image; and determining fatigue degree of corresponding personnel according to the feature points of the multiple regions. In this application, by extracting the feature points of multiple regions in the face image and correlating the fatigue values corresponding to the feature points at each time, the fatigue values corresponding to the multiple regions are synthesized, and the fatigue degree of the corresponding personnel is finally determined, which not only improves the accuracy of fatigue detection, but also does not cause any interference to the inspectors in the process of fatigue detection.

【技术实现步骤摘要】
一种疲劳度检测方法及装置
本申请涉及车联网及智能检测
，尤其涉及一种疲劳度检测方法及装置。
技术介绍
交通工具在人们的出行过程中有着至关重要的地位，驾驶员的安全驾驶，也是人们出平安出行的必要保障。当驾驶员的驾驶时间过长时，驾驶员的精神状态经常会发生改变，由于驾驶员在生理、心理方面的疲劳而导致判断错误、操作失误以及不遵守交通规则等异常驾驶的行为也时有发生，这些行为往往会导致危险事故的发生。因此，驾驶员的疲劳检测成为了备受关注的事情。当前，关于驾驶行为的疲劳检测方法主要分为以下三类：一、驾驶员佩戴多种仪器，从而获取驾驶员生理状态的检测方法；二、车上安装传感器，以获取驾驶行为特征的检测方法；三、基于计算机视觉的检测方法。其中，第一类疲劳检测方法中，由于需要驾驶员佩戴很多仪器，会造成驾驶员的不适，且可能造成驾驶行为受阻，因而难以真正实际应用；第二类疲劳检测方法中，需要在驾驶舱中安装多种传感器，但是其很可能存在器件测量误差，且硬件成本较高。第三类基疲劳检测方法相对来说是最具有前景和实用价值的方法，目前也存在一些基于计算机视觉的疲劳检测方法，但是大多基于PERCLOS方法，通过计算连续闭眼帧数占总帧数的比例，或者在一定时间内眼睛闭合所占的时间比例来判定驾驶员的疲劳程度。然而，由于个体习惯的不同，有些人习惯眨眼，因而，仅依靠闭眼状态进行疲劳检测会存有误差，性能较低。
技术实现思路
为解决现有技术的不足，本申请提出一种疲劳度检测方法及装置。一方面，本申请提出一种疲劳度检测方法，包括：拍摄视频片段；按照时间维度检测所述视频片段中的各人脸图像；提取所述各人脸图像中多个区域的特征点；根据所述多个区域的特征点，确定相应人员的疲劳度。可选的，方法还包括：采集图像样本，提取所述图像样本中的Haar-like特征；根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；对应的，所述按照时间维度检测所述视频片段中的各人脸图像，包括：按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。可选的，所述提取所述各人脸图像中多个区域的特征点，包括：根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。可选的，所述根据所述多个区域的特征点，确定相应人员的疲劳度，包括：采用预先训练的分析模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度。可选的，所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度，包括：所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，分别计算对应的疲劳值；根据计算的各疲劳值，确定相应人员的疲劳度。另一方面，本申请提出一种疲劳度检测装置，包括：拍摄模块，用于拍摄视频片段；检测模块，用于按照时间维度检测所述视频片段中的各人脸图像；提取模块，用于提取所述各人脸图像中多个区域的特征点；确定模块，用于根据所述多个区域的特征点，确定相应人员的疲劳度。可选的，装置还包括：训练模块；所述训练模块，用于采集图像样本，提取所述图像样本中的Haar-like特征；根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；对应的，所述检测模块，具体用于按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。可选的，所述提取模块包括：人脸对齐单元和提取单元；所述人脸对齐单元，用于根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；所述提取单元，用于提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。可选的，所述确定模块包括检测单元和计算单元；所述检测单元，用于采用预先训练的检测模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行检测，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头频率；所述计算单元，用于根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，计算相应人员的疲劳度。可选的，所述计算单元具体用于：所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头频率，分别计算对应的疲劳值；根据计算的各疲劳值，确定相应人员的疲劳度。本申请的优点在于：本申请中，基于计算机视觉，通过检测时间维度上的多个人脸图像，提取各人脸图像中多个区域的特征点，并将各时刻的特征点所对应的疲劳值相关联，计算连续时间内的疲劳值，从而综合该多个区域所对应的疲劳值，最终确定相应人员的疲劳度，极大的提升了疲劳检测性能及检测准确率；同时，在疲劳检测过程中，无需待检测人员佩戴任何仪器，也无需在检测环境中布设传感器，不仅操作方便、不会对待检测人员造成任何干扰，而且减低了检测成本。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：附图1为根据本申请实施方式的一种疲劳度检测方法流程图；附图2为根据本申请实施方式的眼镜区域特征点的示意图；附图3为根据本申请实施方式的嘴巴区域特征点的示意图；附图4为根据本申请实施方式的下巴区域特征点的示意图；附图5为根据本申请实施方式的不同α对应的疲劳度曲线示意图；附图6为根据本申请实施方式的轻度疲劳的疲劳曲线示意图；附图7为根据本申请实施方式的中度疲劳的疲劳曲线示意图；附图8为根据本申请实施方式的重度疲劳的疲劳曲线示意图；附图9为根据本申请实施方式的一种疲劳度检测装置框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。为解决现有技术的不足，本申请提出一种可广泛应用于驾驶员疲劳检测的疲劳检测装置，仅需将其安装于车辆中，而无需驾驶员佩戴任何仪器，也无需在车辆中安装过多的传感器；基于计算机视觉的图像处理技术，通过拍摄含有驾驶员人脸图像的视频片段并进行处理，达到疲劳检测的目的；该过程中不仅不会对驾驶员造成干扰，而且使用方便、成本低廉。应当理解的是，该装置不限于对驾驶员进行疲劳检测，还可以对其他人员进行疲劳检测，以下对本申请的疲劳度检测方法及装置进行详述。实施例一根据本申请的实施方式，提出一种疲劳度检测方法，如图1所示，包括：步骤101：拍摄视频片段；具体的，拍摄含有待检测人员人脸图像的视频片段，优选的，视频片段的每帧中均含有待检测人员人脸图像。步骤102：按照时间维度检测视频片段中的各人脸图像；根据本申请的实施方式，该方法还包括：采集图像样本，提取图像样本中的Haar-like特征；根据AdaBoost算法本文档来自技高网...

【技术保护点】
1.一种疲劳度检测方法，其特征在于，包括：拍摄视频片段；按照时间维度检测所述视频片段中的各人脸图像；提取所述各人脸图像中多个区域的特征点；根据所述多个区域的特征点，确定相应人员的疲劳度。

【技术特征摘要】
1.一种疲劳度检测方法，其特征在于，包括：拍摄视频片段；按照时间维度检测所述视频片段中的各人脸图像；提取所述各人脸图像中多个区域的特征点；根据所述多个区域的特征点，确定相应人员的疲劳度。2.根据权利要求1所述的方法，其特征在于，方法还包括：采集图像样本，提取所述图像样本中的Haar-like特征；根据AdaBoost算法对所述Haar-like特征进行训练，得到人脸检测模型；所述按照时间维度检测所述视频片段中的各人脸图像，包括：按照时间维度，采用所述人脸检测模型对所述视频片段的各帧图像进行检测，得到相应的各人脸图像。3.根据权利要求1所述的方法，其特征在于，所述提取所述各人脸图像中多个区域的特征点，包括：根据人脸对齐算法分别对所述各人脸图像进行人脸对齐处理得到相应的各目标人脸图像；提取所述各目标人脸图像中眼睛区域、嘴巴区域、下巴区域的特征点，得到时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个区域的特征点，确定相应人员的疲劳度，包括：采用预先训练的分析模型分别对所述时间维度上的眼睛特征点序列、嘴巴特征点序列、下巴特征点序列进行分析，得到相应时刻的眼睛闭合概率、嘴巴的张合度和点头概率；根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度。5.根据权利要求4所述的方法，其特征在于，所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，计算相应人员的疲劳度，包括：所述根据各时刻的眼睛闭合概率、嘴巴的张合度和点头概率，分别计算对应的疲劳值；根据计算的各疲劳值，确定相应人员的疲劳度。6.一种疲劳度检测...

【专利技术属性】
技术研发人员：徐博勋，李庆，
申请(专利权)人：中科院微电子研究所昆山分所，
类型：发明
国别省市：江苏,32