一种疲劳驾驶检测方法及装置制造方法及图纸

本发明专利技术公开了一种疲劳驾驶检测方法，包括：通过近红外3D摄像机采集头部图像；采用LK光流法对连续两帧头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；根据眼部特征点的位置坐标搜索眼部图像，以提取眼部图像的眼部特征点；根据预定采集次数内的眼部图像的眼部特征点、嘴部特征点和头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。本发明专利技术还提供了疲劳驾驶检测装置。采用本发明专利技术的疲劳驾驶检测方法及疲劳驾驶检测装置，能够有效提高疲劳驾驶状态判断的精度和判断速度。

【技术实现步骤摘要】
一种疲劳驾驶检测方法及装置
本专利技术涉及机动车疲劳驾驶检测
，尤其涉及一种疲劳驾驶检测方法及装置。
技术介绍
驾驶人员的困倦和疲劳是公路安全普遍公认的风险因素。根据世界卫生组织的报告显示，每年会有超过数万人由于自身或者他人疲劳驾驶受到伤害甚至失去宝贵的生命。因此对驾驶员的疲劳驾驶进行警报可有效减少因疲劳驾驶引起的交通事故，其中疲劳驾驶状态的检测对于疲劳驾驶警报的及时性和有效性起着至关重要的作用。目前，疲劳驾驶检测的方法主要包括以下四种：(1)基于生理信号的疲劳驾驶检测：相关研究表明，驾驶员在疲劳状态下的生理指标会偏离正常状态的生理指标，因而现有技术通过对驾驶员的脑电信号、心电信号、肌电信号、血压、呼吸和脉搏等生理指标的综合测量来判断驾驶员是否进入疲劳驾驶状态。虽然这种方法具有较高的检测精度，但是，由于需要采用采用接触式传感器来采集生理信号，给驾驶员驾驶车辆带来不便，具有较大的局限性。(2)基于驾驶员操作行为的疲劳驾驶检测：该检测方法是通过驾驶员的操作行为如方向盘操作等操作推断驾驶员的疲劳状态。但是，人的操作除了与疲劳状态有关外，还受到个人习惯、行驶速度、道路环境、操作技能等多种因素的影响，该检测方法的准确度低，并且这种方法所采用的标准难以统一，很难做到大规模推广。(3)基于车辆状态信息的疲劳驾驶检测：该检测方法是通过车辆行驶轨迹变化、车道线偏离、车辆行驶速度、加速度等车辆行驶状态来推测驾驶员的疲劳状态。然而，车辆的行驶状态与车辆特性、道路等很多环境因素有关，其准确度低。(4)基于驾驶员头部和面部特征状态的疲劳驾驶检测，这种方法使用摄像头等传感器采集驾驶员的头部图像，运用计算机视觉智能和图像处理技术对驾驶员的头部和面部特征如头部运动状态、眼部移动特征、打哈欠、点头的频率等进行分析处理，然后判定其疲劳程度。由于此类方法属于非接触式测量方式，并且采检测方式具有良好的直观性、采用的标准较为统一等优点，已成为国内外广大学者、企事业部门进行研究、设计及开发的主流方向。目前，基于驾驶员头部和面部特征状态的疲劳驾驶检测方法主要通过标准摄像机获取图像，由于标准摄像机的帧速率为25到30赫兹，而眨眼持续时间可能非常短(最小约为150ms)，因此在一个眨眼持续时间内对视频信号的采样次数只不过是4到5，这不足以获得准确的眼睑移动特征从而导致判断疲劳驾驶状态精度不高且判断速度慢。
技术实现思路
针对上述问题，本专利技术的一种疲劳驾驶检测方法及装置，能够有效提高疲劳驾驶状态判断的精度和判断速度。为解决上述技术问题，本专利技术的一种疲劳驾驶检测方法，包括如下步骤：S1、通过近红外3D摄像机采集包含人脸的头部图像；S2、采用LK光流法对连续两帧头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；所述眼部特征点包含眼部特征点的位置坐标；S3、根据所述眼部特征点的位置坐标从近红外高速摄像机采集的图像中搜索眼部图像，以跟踪所述眼部图像的眼部特征点；S4、根据预定采集次数内的所述眼部图像的眼部特征点、所述嘴部特征点和所述头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得所述SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。作为上述方案的改进，所述步骤S2包括如下步骤：采用LK光流法计算连续两帧头部图像之间跟踪特征点的光流；其中，所述跟踪特征点为所述连续两帧头部图像的第一帧头部图像中位于预设的空心矩形内的多个像素点；通过所述跟踪特征点的光流预测所述跟踪特征点在所述连续两帧头部图像的第二帧头部图像中的位置；根据所述跟踪特征点在所述第一帧头部图像中的位置以及预测在所述第二帧头部图像中的位置，计算所述跟踪特征点的位移；将所述位移按照从小到大的顺次进行排序，得到位移中值；当所述位移满足预设条件时，从所述第二帧头部图像中提取嘴部特征点、头部特征点和眼部特征点；其中，所述预设条件为所述位移的位移量小于所述位移中值，且所述位移的数量大于或等于所述跟踪特征点数量的50％。作为上述方案的改进，所述眼部特征点还包括眼部特征点的速度信息；所述步骤S3包括如下步骤：根据所述位置坐标确定观测特征点；所述观测特征点用于指示所述连续两帧人眼图像中第一帧眼部图像的眼部特征点；根据所述位置坐标和所述速度信息构建所述第一帧眼部图像的状态向量方程；根据所述状态向量和预设的观测矩阵确定观测模型；根据所述状态向量和所述观测模型确定所述连续两帧眼部图像中第二帧眼部图像的搜索范围；当在所述搜索范围内搜索到所述观测特征点时，将搜索到的观测点设定为所述第二帧眼部图像的眼部特征点，实现对所述眼部图像的眼部特征点提取。作为上述方案的改进，所述眼睑移动特征包括眼睛闭合比例、眨眼频率以及眼睛平均闭合速度；所述步骤S4中根据预定采集次数内的所述眼部图像的眼部特征点确定眼睑移动特征包括如下步骤：当每次提取到所述眼部图像的眼部特征点时，从所述眼部图像的眼部特征点中获取眼角特征点、上眼睑特征点和下眼睑特征点；根据所述眼角特征点、所述上眼睑特征点和所述下眼睑特征点，计算眼角的夹角以确定眼睛的闭合度；当采集次数达到所述预定采集次数时，根据确定的全部闭合度计算所述眼睛闭合比例和眨眼频率，且根据全部上眼睑特征点的位移计算眼睛平均闭合速度。作为上述方案的改进，所述嘴部移动特征包括打哈欠频率；所述步骤S4中根据嘴部特征点确定嘴部移动特征包括如下步骤：当每次提取到所述嘴部特征点时，从所述嘴部特征点中获取嘴角特征点、上嘴唇最高特征点和下嘴唇最低特征点；根据所述嘴角特征点、所述上嘴唇最高特征点和所述下嘴唇最低特征点，计算嘴角的夹角以确定嘴部闭合度；当采集次数达到所述预定采集次数时，根据全部的嘴部闭合度确定打哈欠频率。作为上述方案的改进，所述头部移动特征包括点头频率；所述步骤S4中根据预定采集次数内的头部特征点确定头部移动特征包括如下步骤：当每次提取到所述头部特征点时，从所述头部特征点中获取头顶特征点，以绘制一条水平坐标为采集次数、垂直坐标为头顶特征点的垂直位置的曲线；当采集次数达到所述预定采集次数时，确定所述曲线中出现波峰的次数，得到所述点头频率。作为上述方案的改进，在步骤S4中，通过如下步骤检测疲劳驾驶状态：根据所述眼睛闭合比例、所述眨眼频率、所述眼睛平均闭合速度、所述打哈欠频率和所述点头频率构建训练集和测试集；通过所述训练集构建所述SVM分类器；构建训练分类模型；通过构建的训练分类模型对所述测试集进行模型预测，得到疲劳驾驶状态。作为上述方案的改进，通过如下步骤构建所述训练集和所述测试集：在预定的采样周期内分别收集N个眼睛闭合比例、N个眨眼频率、N个眼睛平均闭合速度、N个打哈欠频率和N个点头频率作为样本数据，并对所述样本数据进行归一化得到样本集P；其中，N≥2，且N为整数；通过主成分分析对所述样本集P降维，得到样本集P1；从所述样本集P1中选取70％的样本数据作为训练集，所述样本集P1中的其余30％的样本数据作为测试集。为解决上述技术问题，本专利技术还提供一种疲劳驾驶检测装置，所述检测装置存储有计算机程序，所述计算机程序适于被执行以实现上述任意一种所述的疲劳驾驶检测方法。为解决上述技术问题，本专利技术还提供一种疲劳驾驶检测装置，包括处理器、与所述处理器连接的存储器本文档来自技高网...

【技术保护点】
1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：S1、通过近红外3D摄像机采集包含人脸的头部图像；S2、采用LK光流法对连续两帧所述头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；所述眼部特征点包含眼部特征点的位置坐标；S3、根据所述眼部特征点的位置坐标从近红外高速摄像机采集的图像中搜索眼部图像，以跟踪所述眼部图像的眼部特征点；S4、根据预定采集次数内的所述眼部图像的眼部特征点、所述嘴部特征点和所述头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得所述SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。

【技术特征摘要】
1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：S1、通过近红外3D摄像机采集包含人脸的头部图像；S2、采用LK光流法对连续两帧所述头部图像进行跟踪，并从跟踪到的头部图像中提取嘴部特征点、头部特征点和眼部特征点；所述眼部特征点包含眼部特征点的位置坐标；S3、根据所述眼部特征点的位置坐标从近红外高速摄像机采集的图像中搜索眼部图像，以跟踪所述眼部图像的眼部特征点；S4、根据预定采集次数内的所述眼部图像的眼部特征点、所述嘴部特征点和所述头部特征点一对一确定眼睑移动特征、嘴部移动特征及头部移动特征，并送入SVM分类器，使得所述SVM分类器判断疲劳驾驶状态，实现疲劳驾驶检测。2.如权利要求1所述的疲劳驾驶检测方法，其特征在于，步骤S2包括如下步骤：采用LK光流法计算连续两帧头部图像之间跟踪特征点的光流；其中，所述跟踪特征点为所述连续两帧头部图像的第一帧头部图像中位于预设的空心矩形内的多个像素点；通过所述跟踪特征点的光流预测所述跟踪特征点在所述连续两帧头部图像的第二帧头部图像中的位置；根据所述跟踪特征点在所述第一帧头部图像中的位置以及预测在所述第二帧头部图像中的位置，计算所述跟踪特征点的位移；将所述位移按照从小到大的顺次进行排序，得到位移中值；当所述位移满足预设条件时，从所述第二帧头部图像中提取嘴部特征点、头部特征点和眼部特征点；其中，所述预设条件为所述位移的位移量小于所述位移中值，且所述位移的数量大于或等于所述跟踪特征点数量的50％。3.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述眼部特征点还包括眼部特征点的速度信息；所述步骤S3包括如下步骤：根据所述位置坐标确定观测特征点；所述观测特征点用于指示所述连续两帧人眼图像中第一帧眼部图像的眼部特征点；根据所述位置坐标和所述速度信息构建所述第一帧眼部图像的状态向量方程；根据所述状态向量和预设的观测矩阵确定观测模型；根据所述状态向量和所述观测模型确定所述连续两帧眼部图像中第二帧眼部图像的搜索范围；当在所述搜索范围内搜索到所述观测特征点时，将搜索到的观测点设定为所述第二帧眼部图像的眼部特征点，实现对所述眼部图像的眼部特征点提取。4.如权利要求1所述的疲劳驾驶检测方法，其特征在于，所述眼睑移动特征包括眼睛闭合比例、眨眼频率以及眼睛平均闭合速度；所述步骤S4中根据预定采集次数内的所述眼部图像的眼部特征点确定眼睑移动特征包括如下步骤：当每次提取到所述眼部图像的眼部特征点时，从所述眼部图像的眼部特征点中获取眼角特征点、上眼睑特征点和下眼睑特征点；根据所述眼角特征点、所述上眼睑特征...

【专利技术属性】
技术研发人员：冯跃，梁淑芬，余义斌，杨铁牛，
申请(专利权)人：五邑大学，
类型：发明
国别省市：广东,44