一种疲劳驾驶的检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请公开了一种疲劳驾驶的检测方法、装置、计算机设备和存储介质，涉及图像处理领域和深度学习领域，该方法包括：实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像；获取与所述人脸图像帧的各器官图像分别对应的状态分类结果；根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类结果；根据与各疲劳检测器官分别对应的长时分类结果，对所述驾驶员进行疲劳检测。使用本申请的技术方案，可以实现快速、准确的检测驾驶员是否处于疲劳驾驶状态。

【技术实现步骤摘要】
一种疲劳驾驶的检测方法、装置、计算机设备和存储介质
本申请涉及图像处理领域和深度学习领域，尤其涉及一种疲劳驾驶的检测方法、装置、计算机设备和存储介质。
技术介绍
随着各式交通工具的普及，交通工具的行驶安全问题也成为一个重要的话题。如何有效检测驾驶员疲劳驾驶，并及时对驾驶员进行提示，是提高行驶安全性，减少交通事故的重要方面。现有技术中通常通过获取驾驶室内包含驾驶员人像的图像，对图像进行特征提取的方式，预测驾驶员是否疲劳驾驶。现有技术中这种检测疲劳驾驶的方式，检测疲劳驾驶的准确率偏低，检测速度较慢，无法及时、准确、迅速的检测出驾驶员的疲劳驾驶状态。
技术实现思路
本申请提供了一种疲劳驾驶的检测方法、装置、计算机设备和存储介质，以实现快速、准确的检测驾驶员是否处于疲劳驾驶状态。第一方面，本申请实施例公开了一种疲劳驾驶的检测方法，该方法包括：实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像；获取与所述人脸图像帧的各器官图像分别对应的状态分类结果；根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类结果；根据与各疲劳检测器官分别对应的长时分类结果，对所述驾驶员进行疲劳检测。第二方面，本申请实施例公开了一种疲劳驾驶的检测装置，该装置包括：器官图像获取模块，用于实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像；状态分类结果获取模块，用于获取与所述人脸图像帧的各器官图像分别对应的状态分类结果；长时分类结果获取模块，用于根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类结果；疲劳检测模块，用于根据与各疲劳检测器官分别对应的长时分类结果，对所述驾驶员进行疲劳检测。第三方面，本申请实施例公开了一种电子设备，包括至少一个处理器以及与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请实施例中任一项所述的疲劳驾驶的检测方法。第四方面，本申请实施例公开了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请实施例中任一项所述的疲劳驾驶的检测方法。本申请实施例的技术方案实现了快速、准确的检测驾驶员是否处于疲劳驾驶状态。应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例中的一种疲劳驾驶的检测方法的流程图；图2a是本申请实施例中的一种疲劳驾驶的检测方法的流程图；图2b是适用于本申请实施例中的一种眼部状态分类模型的结构示意图；图2c是适用于本申请实施例中的一种嘴巴状态分类模型的结构示意图；图2d是本申请具体适用场景中的一种疲劳驾驶检测方法的流程图；图3是本申请实施例中的一种疲劳驾驶的检测装置的结构示意图；图4是本申请实施例中的一种计算机设备的结构示意图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是本申请实施例提供的一种疲劳驾驶的检测方法的流程图，本申请实施例的技术方案可以适用于在驾驶员行驶过程中检测驾驶员是否存在疲劳驾驶的情况。该方法可以疲劳驾驶的检测装置来实现，该装置可以由软件和/或硬件实现，并一般集成在电子设备中，与拍摄装置配合使用。如图1所示，本申请实施例的技术方案，具体包括如下步骤：S110、实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像。其中，人脸图像帧是实时获取的包含交通工具驾驶员人像的图像，人脸图像帧可以通过设置在交通工具上的摄像机获得，交通工具可以是汽车、火车或者飞机等需要驾驶员进行驾驶或辅助驾驶的交通工具。疲劳检测器官是用于判断驾驶员是否处于疲劳驾驶状态的器官，器官图像是根据人脸图像帧获得的，包含疲劳检测器官全部区域的图像。获取器官图像的目的在于，可以仅针对器官图像进行状态分类，从而提高疲劳驾驶检测的准确率。在本申请一个可选的实施例中，疲劳检测器官的器官图像可以包括：与左眼对应的左眼图像、与右眼对应的右眼图像以及与嘴巴对应的嘴巴图像；在本申请实施例中，选择左眼、右眼和嘴巴作为疲劳检测器官，可以更精确地判断驾驶员是否处于疲劳驾驶状态，驾驶员疲劳驾驶时，通常表现为打盹、打哈欠等行为，当左眼或右眼长期处于闭合状态，或嘴巴处于打开状态，说明驾驶员存在疲劳驾驶行为。在本申请一个可选的实施例中，获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像，可以包括：在所述人脸图像帧中，识别人脸区域；在所述人脸区域内，获取多个人脸关键点；根据所述多个人脸关键点，获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像。其中，人脸区域是在人脸图像帧中识别得到的仅包括驾驶员人像部分的区域，在人脸图像帧中识别人脸区域的目的在于，可以仅针对人脸区域进行驾驶员的疲劳驾驶状态判断，可以提高疲劳驾驶状态判断的准确性。在人脸图像帧中识别人脸区域，可以通过预设的图像识别算法实现，或者通过将人脸图像帧输入至人脸区域检测模型实现，本实施例对在人脸图像帧中识别人脸区域的具体方式不进行限制。人脸关键点是在人脸区域内识别出来的，与人脸特征相关的点，示例性的，人脸关键点可以是眼角点、上眼睑点、下眼睑点、鼻尖点、眉头点、眉尾点、上唇点以及下唇点等，本实施例对人脸关键点的具体形式以及获取关键点的具体方式不进行限制。在本申请实施例中，在人脸图像帧中确定人脸区域，并获取人脸区域内的人脸关键点，根据与各疲劳检测器官相对应的人脸关键点，获取与各疲劳检测器官对应的器官图像。S120、获取与所述人脸图像帧的各器官图像分别对应的状态分类结果。其中，状态分类结果用于表示人脸图像帧中器官图像对应的疲劳检测器官所处的状态。在本申请一个可选的实施例中，状态分类结果可以包括：打开或者闭合。获取器官图像的状态分类结果，可以通过预先训练的状态分类结果检测模型来实现，也可以通过判断器官图像中特征点的位置关系来实现，本申请实施例对获取器官图像的状态分类结果的具体方式不进行限制。S130、根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类本文档来自技高网...

【技术保护点】
1.一种疲劳驾驶的检测方法，包括：/n实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像；/n获取与所述人脸图像帧的各器官图像分别对应的状态分类结果；/n根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类结果；/n根据与各疲劳检测器官分别对应的长时分类结果，对所述驾驶员进行疲劳检测。/n

【技术特征摘要】
1.一种疲劳驾驶的检测方法，包括：
实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像；
获取与所述人脸图像帧的各器官图像分别对应的状态分类结果；
根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类结果；
根据与各疲劳检测器官分别对应的长时分类结果，对所述驾驶员进行疲劳检测。


2.根据权利要求1所述的方法，其特征在于，所述根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果，计算与各疲劳检测器官分别对应的长时分类结果，包括：
在当前人脸图像帧和设定数量的历史人脸图像帧中，分别获取各器官图像的状态分类结果；
确定与所述当前人脸图像帧以及各所述历史人脸图像帧分别对应的检测权重；
其中，所述检测权重与人脸图像帧的获取时间差负相关，所述获取时间差为人脸图像帧的获取时间与当前系统时间的时间差；
根据当前人脸图像帧和各历史人脸图像帧中，各器官图像的状态分类结果，以及与当前人脸图像帧和各历史人脸图像帧分别对应的检测权重，计算各器官图像的状态累加结果；
根据所述状态累加结果和预设的长时分类权重，计算各疲劳检测器官的长时分类结果。


3.根据权利要求1所述的方法，其特征在于，所述获取与所述人脸图像帧的各器官图像分别对应的状态分类结果，包括：
将与所述人脸图像帧的各器官图像分别输入至与器官图像匹配的状态分类模型中，获取与各所述器官图像对应的第一分类结果；
根据与各所述器官图像分别对应的多个器官关键点之间的相对位置关系，获取与各所述器官图像对应的第二分类结果；
根据所述第一分类结果和所述第二分类结果，确定与各所述器官图像对应的状态分类结果。


4.根据权利要求1所述的方法，其特征在于，获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像，包括：
在所述人脸图像帧中，识别人脸区域；
在所述人脸区域内，获取多个人脸关键点；
根据所述多个人脸关键点，获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像。


5.根据权利要求1-4任一项所述的方法，其特征在于，疲劳检测器官的器官图像包括：与左眼对应的左眼图像、与右眼对应的右眼图像以及与嘴巴对应的嘴巴图像；
所述状态分类结果包括：打开或者闭合。


6.根据权利要求5所述的方法，其特征在于，所述根据所述多个人脸关键点，获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像，包括下述至少一项：
根据人脸关键点中与左眼对应的两个眼角坐标，计算左眼的眼角距离；根据左眼的眼角距离和人脸关键点中左眼的中心点坐标，计算与左眼对应的左眼仿射变换矩阵，并根据左眼仿射变换矩阵，在所述人像采集图像中确定左眼图像；
根据人脸关键点中与右眼对应的两个眼角坐标，计算右眼的眼角距离；根据右眼的眼角距离和人脸关键点中右眼的中心点坐标，计算与右眼对应的右眼仿射变换矩阵，并根据右眼仿射变换矩阵，在所述人像采集图像中确定右眼图像；以及
根据人脸关键点中与嘴巴对应的两个嘴角坐标，计算嘴巴的嘴角距离；根据嘴巴的嘴角距离和人脸关键点中嘴巴的中心点坐标，计算与嘴巴对应的嘴吧仿射变换矩阵，并根据嘴巴仿射变换矩阵，在所述人像采集图像中确定嘴巴图像。


7.根据权利要求5所述的方法，其特征在于，所述根据与各疲劳检测器官分别对应的长时分类结果，对所述驾驶员进行疲劳检测，包括下述至少一项：
如果与左眼对应的长时分类结果为闭合，则确定所述驾驶员处于疲劳驾驶状态；
如果与右眼对应的长时分类结果为闭合，则确定所述驾驶员处于疲劳驾驶状态；
如果与嘴巴对应的长时分类结果为打开，则确定所述驾驶员处于疲劳驾驶状态；以及
如果与左眼和右眼分别对应的长时分类结果均为闭合，则确定所述驾驶员处于疲劳驾驶状态。


8.一种疲劳驾驶的检测装置，包括：
器官图像获取模块，用于实时获取与交通工具驾驶员匹配的人脸图像帧，并获取与所述人脸图像帧对应的至少一个疲劳检测器官的器官图像；
状态分类结果获取模块，用于获取与所述人脸图像帧的各器官图像分别对应的状态分类结果；
长时分类结果获取模块，用于根据与多张连续获取的人脸图像帧分别对应各器官图像的状态分类结果...

【专利技术属性】
技术研发人员：王珂尧，冯浩城，岳海潇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11