疲劳驾驶检测方法和装置制造方法及图纸

本申请公开了一种驾驶员疲劳驾驶检测方法和检测装置，所述方法包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼和/或嘴巴；所述方法还包括：基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。通过上述检测方法和装置，能够实时的、高鲁棒性而准确地检测疲劳驾驶。

【技术实现步骤摘要】
疲劳驾驶检测方法和装置
本公开一般涉及汽车安全驾驶
，具体涉及基于深度神经网络的疲劳驾驶检测方法和装置。
技术介绍
随着社会经济的发展，机动车辆急剧增多，由疲劳驾驶导致的交通事故呈现越来越多发的趋势。针对这一现象，产生了各种疲劳驾驶检测技术，其中包括基于驾驶员的生理特征的疲劳驾驶检测技术。当驾驶员疲劳时，会表现出低头、闭眼频率增加等生理特征。通过监控装置，检测驾驶员的这些生理特征，可以判断驾驶员是否疲劳。基于驾驶员的生理特征的疲劳驾驶检测技术，具有非接触、成本低、精确度高的特点，因此，被广泛采用于目前的疲劳驾驶检测装置。当前的基于驾驶员的生理特征的疲劳驾驶检测装置，大多通过图像处理技术，定位人脸，再在人脸的范围内分析眼睛的状态，判断是否疲劳。具体地，通常有两种方法，一种是采用可见光摄像头，获得人眼张合状态信息进行检测识别，根据眼睛、嘴巴、鼻子等器官的特征以及相互之间的几何位置关系来进行，这种方法在强光和黑暗环境条件下准确率受到很大影响，而且，传统的单纯基于图像的人眼检测分析算法，如肤色瞳孔分割检测，对噪声不鲁棒，无法准确的分割出人眼区域进行识别。另一种基于深度学习模型的算法，通过对大量人脸图像样本构造人脸模式空间，根据相似度来判断人脸是否存在。这种方法虽然准确率有所提升，但这种方法计算量大，无法在嵌入式设备上实时运行，不能实用。
技术实现思路
在下文中给出关于本专利技术的简要概述，以便提供关于本专利技术的某些方面的基本理解。应当理解，这个概述并不是关于本专利技术的穷举性概述。它并不是意图确定本专利技术的关键或重要部分，也不是意图限定本专利技术的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本专利技术提出一种能够实时的、高鲁棒性而准确地进行疲劳驾驶检测的方法。在本专利技术的第一方面，本专利技术提供一种疲劳驾驶检测方法，包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼和/或嘴巴；其中，所述方法还包括：基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。优选地，上述疲劳驾驶方法基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置。优选地，上述疲劳驾驶方法对检测到的人眼和/或嘴巴进行定位还包括从所述降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。优选地，在上述疲劳驾驶方法中，所述人眼状态的变化包括人眼张合大小的变化。优选地，在上述疲劳驾驶方法中，所述人眼状态的变化包括人眼张合频次的变化。优选地，所述疲劳驾驶检测方法还包括在检测到的人脸中进一步定位鼻子，并且基于深度神经网络模型，对检测到的鼻子进行定位。优选地，所述疲劳驾驶检测方法还包括利用单目红外摄像头进行图像采集。优选地，所述疲劳驾驶检测方法还包括从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。优选地，所述疲劳驾驶检测方法还包括根据检测的疲劳的不同状况，作出不同等级的预警提示。在本专利技术的第二方面，本专利技术还提供一种驾驶员疲劳驾驶检测装置，包括人脸检测装置、人眼定位装置、以及疲劳判断装置，所述人脸检测装置用于在接收的驾驶员的活动图像中检测驾驶员的面部，所述人眼定位装置，用于在所述面部中，定位驾驶员的眼睛，从而确定驾驶员眼睛的状态，所述疲劳判断装置，用于根据所述驾驶员眼睛的状态，判断所述驾驶员是否疲劳；其中，所述人眼定位装置基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；所述疲劳判断装置跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。优选地，所述人眼定位装置包括人眼粗略定位装置，所述人眼粗略定位装置，用于将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼和/或嘴巴的边界位置，进而识别人眼的状态。优选地，所述人眼定位装置包括进一步包括人眼精确定位装置，所述人眼精确定位装置，用于从降采样的低分辨率图像中裁剪出双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。优选地，所述驾驶员疲劳驾驶检测装置还包括嘴部精确定位装置，所述嘴部精确定位装置用于从降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。优选地，所述驾驶员疲劳驾驶检测装置进一步包括疲劳驾驶报警装置，所述疲劳驾驶报警装置用于根据驾驶员疲劳驾驶检测装置判断的疲劳驾驶程度向驾驶员发出报警信息。优选地，所述驾驶员疲劳驾驶检测装置进一步包括图像采集装置，所述图像采集装置用于采集驾驶员的正面图像。通过根据本专利技术的驾驶员疲劳驾驶检测方法和检测装置，能够实现低成本快速、准确、鲁棒地基于图像的驾驶员疲劳状态检测装置，以便嵌入式设备不需要任何人机交互就可以实时获取驾驶员是否处于疲劳状态，为驾驶员提供安全防护提示或预警。附图说明参照下面结合附图对本专利技术实施例的说明，会更加容易地理解本专利技术的以上和其它目的、特点和优点。附图中的部件只是为了示出本专利技术的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。图1是根据本专利技术的驾驶员疲劳驾驶检测方法的流程图；图2是根据本专利技术的驾驶员疲劳驾驶检测装置的组成示意图；图3和图4示出安装根据本专利技术的驾驶员疲劳驾驶检测装置的位置示意图。具体实施方式下面参照附图来说明本专利技术的实施例。在本专利技术的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本专利技术无关的、本领域普通技术人员已知的部件和处理的表示和描述。图1为本专利技术实施例一提供的疲劳驾驶检测方法的流程图。其包括如下的步骤：首先，在步骤S101，接收利用摄像头采集的驾驶员正面的活动图像。例如以640*480像素、1280*720像素、1920*1080像素的分辨率采集图像。在此，摄像头可以采用普通摄像头，或者单目红外可见光摄像头，以加强在弱光线或夜间行驶条件下的图像采集的清晰度。然后，在步骤S102，对采集的驾驶员活动图像进行人脸检测。人脸检测是为了在整幅(帧)驾驶员图像中识别出驾驶员的面部，为进一步定位眼睛及嘴巴做基础。人脸检测可以采用现有的各种检测识别技术，例如，如肤色分割，形状检测等。优选地，可以采用多级级联分类算法进行人脸检测。接着，在步骤S103，在检测的人脸图像中进一步定位眼睛和嘴巴。根据本专利技术的方法，在进一步定位眼睛和鼻子的步骤中，可以基于深度神经网络的方法来进行，根据定位的眼睛，来识别人眼所处的状态。最后，在步骤S104中，连续跟踪多帧人脸图像中眼睛状态的变化，确定驾驶员是否疲劳以及疲劳程度。优选地，对检测到的人眼和/或嘴巴进行定位，识别人眼所处本文档来自技高网...

【技术保护点】
一种疲劳驾驶检测方法，包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼和/或嘴巴；其特征在于，所述方法还包括：基于深度神经网络模型，对检测到的人眼和/或嘴巴进行定位，识别人眼的状态；跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳。

【技术特征摘要】
1.一种疲劳驾驶检测方法，包括：接收采集的驾驶员的正面图像；在采集的图像中进行人脸检测；在检测到的人脸中进一步定位人眼；其特征在于，所述方法还包括：基于深度神经网络模型，对检测到的人眼进行定位，识别人眼的状态；以及跟踪多帧图像中人眼的状态的变化，判断驾驶员是否疲劳；所述基于深度神经网络模型，对检测到的人眼进行定位包括：将人脸图像输入人脸特征点回归卷积神经网络模型，回归预测在一个降采样的低分辨率图像中人眼的边界位置；以及从所述降采样的低分辨率图像中裁剪出作为另一降采样的低分辨率图像的双眼区域图像，输入眼睛区域分割深度神经网络模型，预测在所述另一降采样的低分辨率图像上属于人眼区域的概率图，分割出人眼区域所包含的图像像素，并据此判断人眼的张合状态。2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述人眼的状态的变化包括人眼张合大小的变化。3.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述人眼的状态的变化包括人眼张合频次的变化。4.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括在检测到的人脸中进一步定位鼻子，并且基于深度神经网络模型，对检测到的鼻子进行定位。5.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括利用单目红外摄像头进行图像采集。6.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括从所述降采样的低分辨率图像中定位嘴部区域，裁剪出嘴部区域图像，输入嘴区域分割深度神经网络模型，分类判断嘴部张开闭合状态。7.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，所述疲劳驾驶检测方法还包括根据检测的疲劳的不同状况，作出不同等级的预警提示。8.一种驾驶员疲劳驾驶检测装置，包括人脸检...

【专利技术属性】
技术研发人员：杨铭，白涛，都大龙，黄畅，
申请(专利权)人：深圳地平线机器人科技有限公司，
类型：发明
国别省市：广东;44