一种驾驶员状态的监测方法、系统及可读存储介质技术方案

本发明专利技术公开了一种驾驶员状态的监测方法、系统及可读存储介质，属于行车安全技术领域，包括：对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像；构建眼部监测网络模型及头部姿态网络模型，检测方向盘动态，通过安装于驾驶员正前方的深度相机对驾驶员失能状态进行实时监测，判定驾驶员眼部状态、头部姿态或方向盘角输入和力输入中的任意一种来监测驾驶员的状态，从而提高了监测灵敏度及准确性，防止驾驶员因出现失能情况而发生事故的同时，不会对驾驶员的正常行驶产生影响。不会对驾驶员的正常行驶产生影响。不会对驾驶员的正常行驶产生影响。

【技术实现步骤摘要】
一种驾驶员状态的监测方法、系统及可读存储介质


[0001]本专利技术涉及行车安全
，更具体的说是涉及一种驾驶员状态的监测方法、系统及可读存储介质。

技术介绍

[0002]随着汽车普及化程度越来越高，在人
‑
车
‑
路环境系统中，驾驶员因素是导致道路交通事故发生的主因。近年来，由于驾驶员生理和心理机能的失衡，失去行动力等导致车辆瞬间失控造成严重交通事故的事件更是屡见不鲜。
[0003]现有技术中，利用安装于车辆上的各种智能终端，完成探测报警、驾驶员疲劳检测预警、驾驶行为分析、车载视频监控等功能，以辅助车辆行车安全。但这些技术仅针对于驾驶员出现假性失能的可被唤醒的状态情况进行检测预警，并没有针对驾驶员出现的真性失能的不可唤醒状态进行检测和预警，因此会造成误判现象，对驾驶员的正常行驶产生影响，不利于行车安全。
[0004]因此，如何提供一种驾驶员状态的监测方法、系统及可读存储介质是本领域技术人员亟需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种驾驶员状态的监测方法、系统及可读存储介质，通过采集驾驶员的人脸图像，实现实时检测驾驶员的失能情况，防止驾驶员因出现失能情况而发生事故的同时，不会对驾驶员的正常行驶产生影响。
[0006]为了实现上述目的，本专利技术提供如下技术方案：一方面，本专利技术提供了一种驾驶员状态的监测方法，包括以下步骤：人脸识别：对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像；眼部状态监测：构建眼部监测网络模型，根据所述眼部监测网络模型提取所述图像中的眼部特征，根据所述眼部特征计算平均闭眼时长，并根据平均闭眼时长判断驾驶员是否处于失能状态；头部姿态监测：构建头部姿态网络模型，根据所述头部姿态网络模型对所述图像中的头部姿态信息进行预处理，得到头部姿态欧拉角，并根据所述头部姿态欧拉角以及所述头部姿态欧拉角的持续时间判断驾驶员是否处于失能状态；方向盘动态监测：检测方向盘动态数据，并根据所述方向盘动态数据判断驾驶员是否处于失能状态。
[0007]优选的，所述对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像的过程包括：对人脸ROI区域进行监测，将实时监测的视频以多帧图像进行录入，以及将实时监测的视频进行云备份处理。
[0008]优选的，所述眼部状态检监测的过程包括：
采集带有驾驶员脸部信息的图像得到人脸数据集并输出图像信息集；读取所述图像信息集中的图像信息，并将所述图像信息进行剪裁处理，得到样本数据；搭建CNN卷积神经网络模型，基于样本数据对所述CNN卷积神经网络模型进行训练及测试，得到眼部监测网络模型；将实时获取的带有驾驶员脸部信息的图像输入至所述眼部监测网络模型，得到闭眼状态参量；根据所述闭眼状态参量，利用眼睑闭合度的P80准则，设定t0至t5为一个闭眼周期，t0至t1为第一段睁眼所需时间，t1至t2为第二段睁眼所需时间，t3至t4为第三段睁眼所需时间，t4‑
t5为第四段睁眼所需时间，计算闭眼周期的眼睑闭合度：计算闭眼时长：计算在一个闭眼周期内的眼睑闭合度值：计算平均闭眼时长：式中，T为一个闭眼周期内的时长，n为闭眼周期个数，为第个闭眼周期内眼睑覆盖瞳孔的比例超过80%的时间，其中i<n；判断平均闭眼时长是否超过预设阈值，若是，则判断驾驶员为失能状态。
[0009]优选的，所述头部姿态监测的过程包括：构建头部姿态网络模型；根据所述头部姿态网络模型提取所述带有驾驶员脸部信息的图像中驾驶员的2D人脸的关键点，并将所述关键点与3D人脸模型匹配，得到3D空间的人脸关键点通用坐标；计算3D空间的关键点通用坐标映射到2D人脸的关键点的旋转矩阵rot_vector；将旋转矩阵rot_vector转化为空间坐标系中俯仰角α、偏航角θ、翻滚角γ，得到驾驶员头部姿态欧拉角；判断驾驶员头部姿态欧拉角最大值是否大于等于预设阈值，且持续时间超过预设阈值，若是，则判断驾驶员为失能状态。
[0010]优选的，所述构建头部姿态网络模型，包括：将实时获取的所述带有驾驶员脸部信息的图像输入至头部姿态网络模型中，输出处理后的驾驶员特征图矩阵，如下：将实时获取的所述带有驾驶员脸部信息的图像输入至头部姿态网络模型中，输出
处理后的驾驶员特征图矩阵，如下： ；式中，为输入图像的像素矩阵中的某i行j列元素，为滤波器参数，b为偏置，为输出特征图矩阵参数；根据特征图矩阵得到所述头部姿态网络模型的相关参数，具体表达式为：其中，a表示权重，b表示偏置；，，表示第m+1层的卷积输出值，第m+1层的卷积输入值，表示池化模型， 对应特征图的像素，N为特征图的通道数，M为输出特征图尺寸，m为第m层卷积层，n为第n个卷积层，f为头部姿态网络模型对应卷积核，为头部姿态网络模型对应卷积步长，p为头部姿态网络模型对应填充层数。其中，本模型中f=3, s0=5, p=0。
[0011]优选的，所述将旋转矩阵rot_vector转化为空间坐标系中俯仰角α、偏航角θ、翻滚角γ，得到驾驶员头部姿态欧拉角包括：将旋转矩阵rot_vector转化为四元数，将四元数转化为欧拉角；设定(x,y,z)是轴方向的单位向量，β是绕轴转过的角度，四元数表示为：得到驾驶员头部姿态欧拉角（α，θ，γ），具体表达式为：
式中，，β为绕轴转过的角度，x,y,z为轴方向的单位向量，为自定义的变量。
[0012]优选的，所述方向盘动态监测，具体过程包括：获取方向盘动态数据；根据方向盘动态数据计算方向盘的角输入信息，具体表达式为：式中，T1：驾驶员作用在方向盘上的转向力矩；T2：扭矩传感器的输出值；Js：方向盘转动惯量；Cs：方向盘阻尼；Ks：方向盘刚度；：方向盘转角根据方向盘动态数据计算方向盘力输入信息，具体表达式为：式中，C2：扭转杆阻尼；K2：扭转杆刚度；：扭矩传感器下端转向柱转角（转动轴转动时形成的夹角）若方向盘角输入在10秒内方向盘最大转角小于10度且方向盘力矩输入小于0.5Nm，则判断驾驶员处于失能状态，需立即预警。
[0013]优选的，若驾驶员处于失能状态，则执行自动唤醒，并实时进行自适应巡航以及车道保持操作；判断自动唤醒时长是否达到预设阈值，若是，判定自动唤醒失败，并进行定位及上报。
[0014]另一方面，本专利技术提供了一种驾驶员状态的监测系统，包括：图像采集模块，用于对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像；眼部状态监测模块，与所述图像采集模块连接，用于构建眼部监测网络模型，根据所述眼部监测网络模型提取所述图像中的眼部特征，根据所述眼部特征计算平均闭眼时长，并根据平均闭眼时长判断驾驶员状态；头部姿态监测模块，与所述图像采集模块连接，用于构建头部姿态网络模型，根据所述头部姿态网络模型对所述图像中的头部姿态信息进行预处理，得到头部姿态欧拉角，并根据所述头部姿态欧拉角以及所述头部姿态欧拉角的持续时间判断驾驶员状态；方向盘动态监测模块，用于检测方向盘动态，并根据所述方向盘动态判断驾驶员是否处于失能状态；自动唤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种驾驶员状态的监测方法，其特征在于，包括以下步骤：人脸识别：对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像；眼部状态监测：构建眼部监测网络模型，根据所述眼部监测网络模型提取所述图像中的眼部特征，根据所述眼部特征计算平均闭眼时长，并根据平均闭眼时长判断驾驶员是否处于失能状态；头部姿态监测：构建头部姿态网络模型，根据所述头部姿态网络模型对所述图像中的头部姿态信息进行预处理，得到头部姿态欧拉角，并根据所述头部姿态欧拉角以及所述头部姿态欧拉角的持续时间判断驾驶员是否处于失能状态；方向盘动态监测：检测方向盘动态数据，并根据所述方向盘动态数据判断驾驶员是否处于失能状态。2.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像的过程包括：对人脸ROI区域进行监测，将实时监测的视频以多帧图像进行录入，以及将实时监测的视频进行云备份处理。3.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述眼部状态检监测的过程包括：采集带有驾驶员脸部信息的图像得到人脸数据集并输出图像信息集；读取所述图像信息集中的图像信息，并将所述图像信息进行剪裁处理，得到样本数据；搭建CNN卷积神经网络模型，基于样本数据对所述CNN卷积神经网络模型进行训练及测试，得到眼部监测网络模型；将实时获取的带有驾驶员脸部信息的图像输入至所述眼部监测网络模型，得到闭眼状态参量；根据所述闭眼状态参量，利用眼睑闭合度的P80准则，设定t0至t5为一个闭眼周期，t0至t1为第一段睁眼所需时间，t1至t2为第二段睁眼所需时间，t3至t4为第三段睁眼所需时间，t4‑
t5为第四段睁眼所需时间，计算闭眼周期的眼睑闭合度：计算闭眼时长：计算在一个闭眼周期内的眼睑闭合度值：计算平均闭眼时长：
式中，T为一个闭眼周期内的时长，n为闭眼周期个数，为第个闭眼周期内眼睑覆盖瞳孔的比例超过80%的时间，其中i<n；判断平均闭眼时长是否超过预设阈值，若是，则判断驾驶员为失能状态。4.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述头部姿态监测的过程包括：构建头部姿态网络模型；根据所述头部姿态网络模型提取所述带有驾驶员脸部信息的图像中驾驶员的2D人脸的关键点，并将所述关键点与3D人脸模型匹配，得到3D空间的人脸关键点通用坐标；计算3D空间的关键点通用坐标映射到2D人脸的关键点的旋转矩阵rot_vector；将旋转矩阵rot_vector转化为空间坐标系中俯仰角α、偏航角θ、翻滚角γ，得到驾驶员头部姿态欧拉角；判断驾驶员头部姿态欧拉角最大值是否大于等于预设阈值，且持续时间超过预设阈值，若是，则判断驾驶员为失能状态。5.根据权利要求4所述的一种驾驶员状态的监测方法，其特征在于，所述构建头部姿态网络模型，包括：将实时获取的所述带有驾驶员脸部信息的图像输入至头部姿态网络模型中，输出处理后的驾驶员特征图矩阵，如下：式中，为输入图像的像素矩阵中的某i行j列元素，为滤波器参数，b为偏置，为输出特征图矩阵参数；根据所述特征图矩阵得到所述头部姿态网络模型的参数，具体表...

【专利技术属性】
技术研发人员：汪磊，师文俊，王小红，李昂，廖博成，闻欢，
申请(专利权)人：天津中德应用技术大学，
类型：发明
国别省市：