疲劳检测方法及装置制造方法及图纸

本发明专利技术提供了一种疲劳检测方法及装置，其中所述疲劳检测方法包括：获取待疲劳检测者的人脸图像；根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。本发明专利技术通过可分离卷积网络进行疲劳检测，大大减少了模型的参数量以及运行时间，使得实时性得以维持。

【技术实现步骤摘要】
疲劳检测方法及装置
本专利技术涉及人工智能
，特别涉及一种疲劳检测方法及装置。
技术介绍
根据统计显示，国内肇事原因中，由疲劳驾驶引起的比例占有七成，除此之外，其他领域对疲劳检测的需求也不断增多。因此，疲劳检测成为当前研究的重要热门课题之一。疲劳检测不仅要具备实时性，而且要能快速检测出驾驶疲劳，以便在第一时间对疲劳驾驶者进行提醒和控制，此外，还也需具有鲁棒性，从而能适应各种驾驶场景。因此，亟需提出一种实时、准确、快速的疲劳检测方法及装置。
技术实现思路
(一)要解决的技术问题鉴于上述问题，本专利技术的主要目的在于提供一种疲劳检测方法及装置，以期至少部分地解决上述提及的技术问题中的至少之一。(二)技术方案根据本专利技术的一个方面，提供了一种疲劳检测方法，包括：获取待疲劳检测者的人脸图像；根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。进一步的，根据所述人脸图像利用可分离卷积神经网络判断人眼的开合状态及嘴巴的开合状态，进而确定眨眼动作及哈欠动作，由此进行疲劳检测。进一步的，根据所述人脸图像利用可分离卷积神经网络进行疲劳检测，包括：利用人脸检测神经网络确定人脸图像上的人脸位置；通过所述人脸位置利用特征点检测神经网络确定人脸上的68特征点，根据所述68特征点撷取人脸上的眼睛图像；通过所述眼睛图像利用眨眼检测神经网络确定人眼的眨眼动作，并通过所述68特征点确定嘴巴的哈欠动作，从而进行疲劳检测。进一步的，由所述68特征点中的嘴巴关键点及脸颊关键点确定MAR值；根据MAR值判断嘴巴状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作。进一步的，由68特征点中的嘴巴关键点及脸颊关键点确定MAR值：MAR*＝||K68-K62||+||K67-K63||+||K66-K64||/(2*||K15-K3||)，其中||K68-K62||表示第68关键点与第62关键点的欧式距离，||K67-K63||表示第67关键点与第63关键点的欧式距离，||K66-K64||表示第66关键点与第64关键点的欧式距离，||K15-K3||表示第15关键点与第3关键点的欧式距离。进一步的，根据MAR值判断嘴巴的状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作：若MAR值大于一阈值，则判断嘴巴状态为张开状态，进而判断嘴巴动作为哈欠动作。进一步的，根据待检测者的眨眼动作频率和哈欠动作频率判断待检测者的疲劳状态。进一步的，在一连续时间段内，若待检测者的哈欠动作次数小于第一哈欠动作次数阈值和/或待检测者的眨眼动作次数小于第一眨眼动作次数阈值，则判断为非疲劳状态；反之，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值，且待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值，则判断为疲劳状态。进一步的，若待检测者的哈欠动作次数大于等于第一哈欠动作次数阈值且小于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第一眨眼动作次数阈值且小于第二眨眼动作次数阈值，则判断为一般疲劳状态；若待检测者的哈欠动作次数大于等于第二哈欠动作次数阈值，待检测者的眨眼动作次数大于等于第二眨眼动作次数阈值，则判断为严重疲劳状态。进一步的，根据所述68特征点撷取人脸上的眼睛图像，包括：由68特征点中的第37、38、39、40、41、42关键点的坐标平均值确定左眼中心位置；由68特征点中的第43、44、45、46、47、48关键点的坐标平均值确定左眼中心位置；由左眼中心位置、右眼中心位置及人脸宽度对人脸图像进行裁剪并进行预处理，由此得到眼睛图像。根据本专利技术的另一个方面，提供一种疲劳检测装置，包括：图像撷取单元，用于获取待疲劳检测者的人脸头像；疲劳检测单元，用于根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。进一步的，所述疲劳检测模块，包括：人脸检测模块，用于利用人脸检测神经网络确定人脸图片上的人脸位置；特征点检测模块，用于根据所述人脸位置利用特征点检测神经网络确定人脸上的68特征点；眨眼检测模块，用于利用眨眼检测神经网络确定人眼的眨眼动作；哈欠检测模块，用于利用所述68特征点确定嘴巴的哈欠动作。(三)有益效果从上述技术方案可以看出，本专利技术疲劳检测方法及装置至少具有以下有益效果其中之一：(1)眼睛图像通常比嘴巴图像小，若直接采用特征点计算EAR值的方式进行判断容易产生误判，稳定性较差，本专利技术眨眼检测采用神经网络方案，使得实时性得以维持的前提下又确保了疲劳检测算法的鲁棒性。(2)本专利技术对MAR确定方式进行改进，考虑人脸大小嘴巴状态判断的影响，增强了对不同远近的人脸，以及不同嘴巴尺寸人脸的哈欠检测鲁棒性。(3)本专利技术采用可分离卷积神经网络模型，大大减少了模型的参数量以及运行时间，运算量较小，使得实时性得以维持。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术疲劳检测方法流程图。图2为本专利技术疲劳检测方法另一流程图。图3为本专利技术疲劳检测方法又一流程图。图4为本专利技术疲劳检测装置方框图。图5为本专利技术疲劳检测模块方框图。图6为本专利技术人脸68特征点示意图。图7为本专利技术疲劳检测装置另一方框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。在一实施例中，本专利技术提出一种疲劳检测方法，主要包括：1.由神经网络进行嘴巴、眼睛的开合判定：由特征点位置撷取眼睛、嘴巴位置图像，具体的，分别撷取关键点的第37、38、39、40、41、42点的坐标位置代表左眼，以及第43、44、45、46、47点的坐标位置代表右眼，而第61、62、63、64、65、66、67、68点的坐标位置代表嘴巴。由各部位关键点中心裁剪出眼睛或嘴巴的图像，再以卷积神经网络进行嘴巴、眼睛的开合分类。2.由EAR和MAR判定眼睛、嘴巴开合状态并进行哈欠、眨眼的行为判定：其中EAR和MAR的计算方式如下：EAR左＝||K42-K38||+||K41-K39||/(2*||K40-K37||)；EAR右＝||K48-K44||+||K47-K45||/(2*||K65-K61||)；EAR＝1/2*(EAR左+EAR右)；MAR＝||K68-K62||+||K67-K63||+||K66-K64||/(2*||K40-K37||)；其中，||·||代表两点间的欧氏距离，||K42-K38||表示第42关键点与第38关键点的欧式距离，||K41-K39||表示第41关键点与第39关键点的欧式距离，||K40-K37||表示第40关键点与第37关本文档来自技高网...

【技术保护点】
1.一种疲劳检测方法，其特征在于，包括：/n获取待疲劳检测者的人脸图像；/n根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。/n

【技术特征摘要】
1.一种疲劳检测方法，其特征在于，包括：
获取待疲劳检测者的人脸图像；
根据所述人脸图像利用可分离卷积神经网络进行疲劳检测。


2.根据权利要求1所述的疲劳检测方法，其特征在于，
根据所述人脸图像利用可分离卷积神经网络判断人眼的开合状态及嘴巴的开合状态，进而确定眨眼动作及哈欠动作，由此进行疲劳检测。


3.根据权利要求1所述的疲劳检测方法，其特征在于，根据所述人脸图像利用可分离卷积神经网络进行疲劳检测，包括：
利用人脸检测神经网络确定人脸图像上的人脸位置；
通过所述人脸位置利用特征点检测神经网络确定人脸上的68特征点，根据所述68特征点撷取人脸上的眼睛图像；
通过所述眼睛图像利用眨眼检测神经网络确定人眼的眨眼动作，并通过所述68特征点确定嘴巴的哈欠动作，从而进行疲劳检测。


4.根据权利要求3所述的疲劳检测方法，其特征在于，由所述68特征点中的嘴巴关键点及脸颊关键点确定MAR值；根据MAR值判断嘴巴状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作。


5.根据权利要求4所述的疲劳检测方法，其特征在于，由68特征点中的嘴巴关键点及脸颊关键点确定MAR值：MAR*＝||K68-K62||+||K67-K63||+||K66-K64||/(2*||K15-K3||)，其中||K68-K62||表示第68关键点与第62关键点的欧式距离，||K67-K63||表示第67关键点与第63关键点的欧式距离，||K66-K64||表示第66关键点与第64关键点的欧式距离，||K15-K3||表示第15关键点与第3关键点的欧式距离。


6.根据权利要求4所述的疲劳检测方法，其特征在于，根据MAR值判断嘴巴的状态是否为张开状态，进而判断嘴巴动作是否为哈欠动作：若MAR值大于一阈值，则判断嘴巴状态为张开状态，进而判断嘴巴动作为哈欠动作。


7.根据权利要求1所述的疲劳检测方法，其特征在于，根据待检测者的眨眼动作频率和哈欠动作频...

【专利技术属性】
技术研发人员：池伯远，张楠赓，
申请(专利权)人：北京嘉楠捷思信息技术有限公司，
类型：发明
国别省市：北京;11