疲劳驾驶预警方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种疲劳驾驶预警方法、装置、电子设备及存储介质，其中，该方法包括：基于针对驾驶员的监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；从监控图像中识别出眼部区域图像；从眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；利用瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；对瞳孔的图像区域和眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；若获取的头部姿态信息、距离和瞳孔可见度均满足预设条件，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。本发明专利技术能够提高疲劳驾驶状态判断的准确性，进而提高预警的准确性。进而提高预警的准确性。进而提高预警的准确性。

【技术实现步骤摘要】
疲劳驾驶预警方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，具体涉及一种疲劳驾驶预警方法、装置、电子设备及存储介质。

技术介绍

[0002]人员在疲劳的状态下，易出现操作错误的情况，例如：驾驶员在疲劳驾驶时，易出现车祸。为了在一定程度上降低因人员疲劳而导致的危险情况的发生，一般会对人员进行疲劳检测，如果检测到处于疲劳状态则进行预警。人员的当前状态检测方法的过程，一般为：获得针对目标人员采集的人脸图像，并通过检测人脸图像中人眼的上下眼睑之间的开闭程度，确定目标人员的眼睛的状态，进而，确定目标人员的当前状态是否为疲劳状态，其中，当开闭程度低于预设开闭阈值时，则确定人眼处于闭合状态，进而确定目标人员的当前状态为疲劳状态。但是，这种检测方法易受人脸与摄像头之间的相对位置关系影响，具体来说人脸与摄像头之间的相对位置关系不同检测到的上下眼皮之间的开闭程度差距很大，因此检测的准确度低，容易发生误报。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供了一种疲劳驾驶预警方法、装置、电子设备及存储介质，以解决目前的疲劳检测准确度低的问题。
[0004]根据第一方面，本专利技术实施例提供了一种疲劳驾驶预警方法，所述方法包括：获取针对驾驶员的监控图像；基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；从所述监控图像中识别出眼部区域图像；从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。
[0005]可选的，所述从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点，包括：利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点；
从所述瞳孔的初始边缘关键点中筛选出置信度大于或等于第三预设阈值的，作为所述瞳孔的边缘关键点；从所述眼睑的初始边缘关键点中筛选出置信度大于或等于第四预设阈值的，作为所述眼睑的边缘关键点。
[0006]可选的，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为基于mobilenet结构搭建的模型，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的编码网络包括逐深度卷积网络、逐点卷积网络，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的解码网络包含最近邻插值的反卷积结构。
[0007]可选的，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：将所述眼部区域图像调整到预设尺寸；所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，包括：所述瞳孔关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出瞳孔关键点热力图；利用所述瞳孔关键点热力图的最大值所在位置和邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。
[0008]可选的，利用以下公式计算所述瞳孔的初始边缘关键点的亚像素坐标：x=σ2*log(feature(x
max
+1)/feature(x
max
))
‑
0.5*(x
max2
‑
(x
max
+1)2)y=σ2*log(feature(y
max
+1)/feature(y
max
))
‑
0.5*(y
max2
‑
(y
max
+1)2)其中，x,y为所述瞳孔的初始边缘关键点的亚像素坐标，feature()为所述瞳孔关键点热力图，（x
max
,y
max
）=argmax(feature)，σ为高斯核的尺度缩放因子。
[0009]可选的，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：获取训练数据；利用所述训练数据对构建的所述瞳孔关键点检测模型进行训练，直至所述瞳孔关键点检测模型收敛；所述瞳孔关键点检测模型的损失函数为：其中，，，为预测值，为真实值，、、和为超参数。
[0010]可选的，所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初
始边缘关键点之前，还包括：将所述眼部区域图像调整到预设尺寸；所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点，包括：所述眼睑关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出眼睑关键点热力图；利用所述眼睑关键点热力图的最大值所在位置和邻域位置确定所述眼睑的初始边缘关键点的亚像素坐标。
[0011]根据第二方面，本专利技术实施例提供了一种疲劳驾驶预警装置，包括：图像获取模块，用于获取针对驾驶员的监控图像；第一获取模块，用于基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；识别模块，用于从所述监控图像中识别出眼部区域图像；检测模块，用于从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；第二获取模块，用于利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；第三获取模块，用于对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；预警模块，用于若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。
[0012]根据第三方面，本专利技术实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述第一方面所述的任一种疲劳驾驶预警方法。
[0013]根据第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述第一方面所述的任一种疲劳驾驶预警方法。
[0014]本专利技术实施例提供的疲劳驾驶预警方法、装置、电子设备及存储介质，通过对驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离进行识别，以在进行疲劳驾驶状态判断时，排除它们对眼部图像的影响，具体的，如果驾驶员的头部姿态信息或驾驶员与摄像头之间的距离不满足一定的条件，则不进行疲劳驾驶状态判断或不认定为疲劳驾驶状态，从而提高疲劳驾驶状态判断本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种疲劳驾驶预警方法，其特征在于，所述方法包括：获取针对驾驶员的监控图像；基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；从所述监控图像中识别出眼部区域图像；从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。2.根据权利要求1所述的方法，其特征在于，所述从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点，包括：利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点；从所述瞳孔的初始边缘关键点中筛选出置信度大于或等于第三预设阈值的，作为所述瞳孔的边缘关键点；从所述眼睑的初始边缘关键点中筛选出置信度大于或等于第四预设阈值的，作为所述眼睑的边缘关键点。3.根据权利要求2所述的方法，其特征在于，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为基于mobilenet结构搭建的模型，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的编码网络包括逐深度卷积网络、逐点卷积网络，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的解码网络包含最近邻插值的反卷积结构。4.根据权利要求2或3所述的方法，其特征在于，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：将所述眼部区域图像调整到预设尺寸；所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，包括：所述瞳孔关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出瞳孔关键点热力图；利用所述瞳孔关键点热力图的最大值所在位置和邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。5.根据权利要求4所述的方法，其特征在于，利用以下公式计算所述瞳孔的初始边缘关键点的亚像素坐标：x=σ2*log(feature(x
max
+1)/feature(x
max
))
‑
0.5*(x
max2
‑
(x
max
+1)2)y=σ2*log(feature(y
max
+1)/feature(y

【专利技术属性】
技术研发人员：谢波，李发成，张如高，虞正华，
申请(专利权)人：苏州魔视智能科技有限公司，
类型：发明
国别省市：