一种疲劳驾驶监测方法技术

本发明专利技术提供一种疲劳驾驶监测方法，属于疲劳驾驶监测技术领域，包括构建检测睁/闭眼的预测模型，计算驾驶员的眨眼频率，通过计算驾驶员头部姿态的欧拉角估计驾驶员的头部姿态，构建提取面部图像和双眼图像特征的预测模型，估计驾驶员的注视区域；通过实时监测驾驶员眨眼频率、头部姿态角度以及注视点监测驾驶员的疲劳状态，提高对驾驶员疲劳驾驶检测的准确率。本方法为非接触式方法，可以仅通过安装在车内的一个摄像头采集驾驶员的头部、脸部图像进行疲劳驾驶的自动监测，造价低且不影响驾驶员正常驾驶，大大提高了市场应用价值。大大提高了市场应用价值。大大提高了市场应用价值。

【技术实现步骤摘要】
一种疲劳驾驶监测方法


[0001]本专利技术属于疲劳驾驶监测
，具体涉及一种疲劳驾驶监测方法。

技术介绍

[0002]在高速运转的现代社会中，交通事故频繁发生，疲劳驾驶是造成交通事故的重要原因，因而监测驾驶员是否疲劳驾驶具有重大意义。目前国内外的疲劳驾驶监测的方法一般可分为三种，第一种监测方法是监测车辆的行驶特征(如：方向盘的运动规律和加速踏板的使用情况等)从而监测驾驶员是否疲劳驾驶。这种监测方法只能在特定的环境中才能使用，在山路，泥路等复杂道路环境下，这种监测方法也就失去了作用；第二种监测方法集中于人体的电信号，如眼电图(EOG)、心电图(ECG)和脑电图(EEG)，这种监测方法需要驾驶员佩戴大量的传感器，从而可能影响驾驶员的正常驾驶，增加了行车风险，有很大的局限性。随着计算机视觉技术的飞速发展，基于计算机视觉的疲劳驾驶监测技术变得越来越流行。
[0003]中国专利“CN203562073 U提醒司机安全驾驶的装置”提供了一种提醒驾驶员安全驾驶的方向盘环形套，该装置能够实现固定间隔时间的振动，以达到提醒驾驶员集中精力驾驶的目的。从本质上来说，实现的是固定的时间对驾驶员进行提醒，而不是监测驾驶员的状态，在驾驶员疲劳的时候实时提醒驾驶员。中国专利“CN 108010272 A一种疲劳驾驶提醒装置”设计了一种疲劳驾驶提醒装置，可以实现驾驶到固定时间后，提醒驾驶员休息。中国专利“CN 110299014 A一种安全驾驶提示装置”设计了安全驾驶提示装置，通过分析方向盘的转向等状态数据，实现驾驶员疲劳驾驶监测。通过分析方向盘数据等从而推断驾驶员的疲劳状态，这种方法无法面对山路，泥路等行车环境复杂的路段。
[0004]在生产环境中，很多汽车公司与第三方公司合作，设计、研发监测驾驶员状态的产品。比如，汽车中的警报系统会跟踪驾驶员的转向模式，在检测到异常偏差的时候，产生警告信号。或是汽车中的休息辅助系统会根据方向盘的运动规律与踏板的使用情况来判断驾驶员的疲劳程度，检测到疲劳驾驶后，车辆将以方向盘振动、声音信号等形式警告驾驶员。市面上出现的疲劳驾驶监测产品，比较流行的是通过无线眼镜监测瞳孔和眼睑来判断驾驶员的疲劳状态，现已应用于商用车辆上。但对近视的驾驶员不友好，并且造价高，不适宜大面积普及使用。

技术实现思路

[0005]基于上述问题，本专利技术的目的是提供一种疲劳驾驶监测方法，通过捕获驾驶员的面部图像，实现实时监测驾驶员的驾驶状态，防止驾驶员疲劳驾驶的同时，不干扰驾驶员的正常驾驶行为。
[0006]为实现上述目的，本专利技术提供一种疲劳驾驶监测方法，包括：
[0007]构建检测睁/闭眼的检测模型，计算驾驶员的眨眼频率；
[0008]通过计算驾驶员头部姿态的欧拉角估计驾驶员的头部姿态；
[0009]构建驾驶员注视区域的检测模型，通过驾驶员的眼睛图像和面部图像，检测驾驶
员的注视区域；
[0010]根据驾驶员的眨眼频率、头部姿态或注视区域判断该驾驶员是否为疲劳驾驶。
[0011]所述构建检测睁/闭眼的检测模型，计算驾驶员的眨眼频率，包括：
[0012]步骤1.1：采集驾驶员面部图像数据构建睁/闭眼检测数据集；
[0013]步骤1.2：构建LeNet神经网络作为检测睁/闭眼的预测模型，并利用睁/闭眼检测数据集进行训练；
[0014]步骤1.3：针对待监测驾驶员的面部图像，利用训练后的LeNet神经网络进行睁眼或闭眼预测，统计预测结果为闭眼的相邻20帧图像所占用的总时长T。
[0015]所述通过计算驾驶员头部姿态的欧拉角估计驾驶员的头部姿态，包括：
[0016]步骤2.1：使用级联回归树算法，对每张图像中人脸的68个关键点进行定位，得到68个关键点的二维坐标；
[0017]步骤2.2：根据通用的头部关键点三维坐标与步骤2.1中得到的68个面部关键点的二维坐标通过N点透视位姿求解算法，计算头部的旋转矩阵rot_vector；
[0018]步骤2.3：将旋转矩阵转化为空间坐标系中俯仰角pitch、偏航角yaw、翻滚角roll，以表征驾驶员的头部姿态。
[0019]所述构建提取面部图像和双眼图像特征的预测模型，估计驾驶员的注视区域，包括：
[0020]步骤3.1：将公开数据集DDGC
‑
DB1作为训练模型的训练集；
[0021]步骤3.2：针对训练集中的每个样本，进行规格调整，统一调整到224
×
224大小；
[0022]步骤3.3：在放缩后的图像中截取面部图像，将面部图像宽度记为L1，高度记为H1；
[0023]步骤3.4：以眼睛区域的几何中心为中心，截取双眼图像，将两眼角之间的距离记为L2，高度记为H2；
[0024]步骤3.5：将截取的面部图像和双眼图像分别使用VGG16神经网络的卷积层进行特征提取，得到3个1
×
4096的特征向量，分别记为ξ、ψ、γ；
[0025]步骤3.6：将步骤3.5计算得的向量计算加权后的和向量Γ；
[0026]计算向量ξ、ψ之间的欧式距离o1：
[0027][0028]计算向量ξ、γ之间的欧式距离o2：
[0029][0030]Γ＝ξ+o1ψ+o2γ
[0031]式中，ξ
k
表示向量ξ的第K个元素值，ψ
k
表示向量ψ的第K个元素值，γ
k
表示向量γ的第K个元素值，k＝1,2,3,
……
,4095；
[0032]ψ＝[ψ0，ψ1，
……
，ψ
4095
]，γ＝[γ0，γ1，
……
，γ
4095
]，ξ＝[ξ0，ξ1，
……
，ξ
4095
]；
[0033]步骤3.7：将和向量Γ经两个全连接层计算后将结果使用softmax归一化计算得到输出向量R，R中的元素值即为预测的各类别概率值，其中最大值所在的元素位置即为注视区域的预测结果。
[0034]所述根据驾驶员的眨眼频率、头部姿态或注视区域判断该驾驶员是否为疲劳驾驶，具体表述为：
[0035]针对待监测驾驶员的面部图像，利用训练后的LeNet神经网络进行睁眼或闭眼预测，统计预测结果为闭眼的相邻20帧图像所占用的总时长T，如果T小于等于一分钟或者T大于等于两分钟，则认为驾驶员已为疲劳驾驶；
[0036]当一段时间内pitch、yaw、roll的变化最大值均小于等于设定阈值时，判断驾驶员已为疲劳驾驶；
[0037]针对待监测驾驶员的面部图像，根据截取的面部图像、双眼图像进行注视区域检测，当驾驶员在一定时间段内预测结果均为同一个注视区域时，判断驾驶员已为疲劳驾驶。
[0038]所述步骤1.1包括：
[0039]步骤1.1.1：针对N个驾驶员，分别采集头部不同角度的面部图像数据；
[0040本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种疲劳驾驶监测方法，其特征在于，包括：构建检测睁/闭眼的检测模型，计算驾驶员的眨眼频率；通过计算驾驶员头部姿态的欧拉角估计驾驶员的头部姿态；构建驾驶员注视区域的检测模型，通过驾驶员的眼睛图像和面部图像检测驾驶员的注视区域；根据驾驶员的眨眼频率、头部姿态或注视区域判断该驾驶员是否为疲劳驾驶。2.根据权利要求1所述的一种疲劳驾驶监测方法，其特征在于，所述构建检测睁/闭眼的检测模型，计算驾驶员的眨眼频率，包括：步骤1.1：采集驾驶员面部图像数据构建睁/闭眼检测数据集；步骤1.2：构建LeNet神经网络作为检测睁/闭眼的模型，并利用睁/闭眼检测数据集进行训练；步骤1.3：针对待监测驾驶员的面部图像，利用训练后的神经网络LeNet进行睁眼或闭眼预测，统计检测结果为闭眼的相邻20帧图像所占用的总时长T。3.根据权利要求2所述的一种疲劳驾驶监测方法，其特征在于，所述通过计算驾驶员头部姿态的欧拉角估计驾驶员的头部姿态，包括：步骤2.1：使用级联回归树算法，对每张图像中人脸的68个关键点进行定位，得到68个关键点的二维坐标；步骤2.2：根据通用的头部关键点三维坐标与步骤2.1中得到的68个面部关键点的二维坐标通过N点透视位姿求解算法，计算头部的旋转矩阵rot_vectort；步骤2.3：将旋转矩阵转化为空间坐标系中俯仰角pitch、偏航角yaw、翻滚角roll，以表征驾驶员的头部姿态。4.根据权利要求3所述的一种疲劳驾驶监测方法，其特征在于，所述构建驾驶员注视区域的检测模型，通过驾驶员的眼睛图像和面部图像检测驾驶员的注视区域，包括：步骤3.1：将公开数据集DDGC
‑
DB1作为模型的训练集；步骤3.2：针对训练集中的每个样本，进行规格调整，统一调整到224
×
224大小；步骤3.3：在放缩后的图像中截取面部图像，将面部图像宽度记为L1，高度记为H1；步骤3.4：以眼睛区域的几何中心为中心，截取双眼图像，将两眼角之间的距离记为L2，高度记为H2；步骤3.5：将截取的面部图像和双眼图像分别使用VGG16神经网络的卷积层进行特征提取，得到3个1
×
4096的特征向量，分别记为ξ、ψ、γ；步骤3.6：将步骤3.5计算得的向量计算加权后的和向量Γ；计算向量ξ、ψ之间的欧式距离o1：计算向量ξ、γ之间的欧式距离o2：Γ＝ξ+o1ψ+o2γ式中，ξ
k
表示向量ξ的第K个元素值，ψ
k
表示向量ψ的第K个元素值，γ
k
表示向量γ的第K个元素值，k＝1,2,3,
……
,4095；
ψ＝[ψ0，ψ1，......，ψ
4095
]，γ＝[γ0，γ1，......γ
4095
]，ξ＝[ξ0，ξ1，......，ξ
4095
]；步骤3.7：将和向量Γ经两个全连接层计算后将结果使用softmax归一化计算得到向量R，R中的元素值即为预测的各类别概率值，其中最大值所在的元素位置即为注视区域的预测结果。5.根据权利要求4所述的一种疲劳驾驶监测方法，其特征在于，所述根据驾驶员的眨眼频率、头部姿态或注视区域判断该驾驶员是否为疲劳驾驶，具体表述为：针对待监测驾驶员的面部图像，利用训练后的LeNet神经网络进行睁眼或闭眼预测，统计预测结果为闭眼的相邻20帧图像所占用的总时长T，如果T小于等于一分钟或者T大于等于两分钟，则认为驾驶员已为疲劳驾驶；当一段时间内pitch、yaw、roll的变化最大值均小于等于设定阈值时，判断驾驶员已为疲劳驾驶；针对待监测驾驶员的面部图像，根据截取的面部图像、双眼图像进行注视区域检测，当驾驶员在一定时间段内预测结果均为同一个注视区域时，判断驾驶员已为疲劳驾驶。6.根据权利要求2所述的一种疲劳驾驶监测方法，其特征在于，所述步骤1.1包括：步骤1.1.1：针对N个驾驶员，分别采集头部不同角度的面部图像数据；步骤1.1.2：对每张图像中人脸的68个关键点进行定位；步骤1.1.3：获取到人脸关键点后对人脸方向以及大小进行矫正；步骤1.1.4：截取矫正后的眼部图像作为训练集中的样本；步骤1.1.5：对每个样本打标签，标签为睁眼或者闭眼。7.根据权利要求6所述的一种疲劳驾驶监测方法，其特征在于，所述步骤1.1.3包括：步骤S1
‑
1：以图像的左上角点为原点，水平方向为横轴，竖直方向为纵轴，根据左眼的左眼角关键点P
37<...

【专利技术属性】
技术研发人员：李春麟，程维，魏志国，孙霜铭，潘永康，彭程，
申请(专利权)人：东北大学，
类型：发明
国别省市：