【技术实现步骤摘要】
本专利技术涉及智能车辆及目标识别，特别涉及一种驾驶员疲劳监测预警方法及系统。
技术介绍
1、随着社会经济的迅速发展,汽车数量的增长带来了一系列交通安全问题。交通事故的起因多样,据统计,大约20％的交通事故的起因是疲劳驾驶，疲劳驾驶会对驾驶员的安全驾驶造成极大隐患.因此疲劳驾驶检测对于预防交通事故具有重要意义。当前疲劳检测主要基于以下几个方面1)基于驾驶员的生理信号2)基于驾驶员的面部特征信号3)基于车辆的行为信号等。疲劳驾驶检测领域已经开展很多研究,目前也取得了很大进展,但仍存在尚待解决的问题。
2、对于基于面部信息的疲劳检测技术,其主要通过比较明显的疲劳特征,如眼睛闭合时间占特定时长百分比、哈欠检测等。但意外事故的发生与这些明显的疲劳特征的出现之间的时间间隔往往很短,一方面，大多数现有方法忽略了疲劳特征与时间之间的关系，侧重处理某一时刻的疲劳特征,而忽略了随时间的流逝其特征的变化，这些疲劳检测技术无法很好的对早期疲劳进行进检测；另一方面，疲劳检测对实时性要求较高，眼部信息特征较为具体，yolov7算法在图片分类方面的精确度可以继续提高。除此之外，驾驶员行驶过程中,会受到颠簸，光照因素的影响。在白天可能会出现光照不均匀，在夜间驾驶环境下,会受到光线不足的影响，一定程度上，会影响算法的识别精度。
技术实现思路
1、为了解决现有技术所存在的问题，本专利技术提供一种驾驶员疲劳监测预警方法，结合改进的yolov7算法，通过对视频序列中眼皮边缘的运动轨迹和眼球的特征进行分析提取，
2、本专利技术提供一种驾驶员疲劳监测预警方法，包括：
3、步骤1，获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
4、步骤2，对于每张高分辨率图像，将所述高分辨率图像输入改进后的yolov7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
5、步骤3，将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
6、步骤4，将眼动仪收集的信息结合对应的时间戳，传入lstm模型中获得眼球的运动轨迹；
7、步骤5，对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
8、步骤6，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
9、进一步地，所述方法还包括：
10、步骤7，若检测出驾驶员为疲劳状态时，则启动人机共驾模块。
11、进一步地，步骤1包括：
12、步骤1.1，对所述读取出的每帧图像分别进行尺寸归一化处理得到初级预处理图片；
13、步骤1.2，根据上述获取的初级预处理图片，分别进行多轮无噪声局部特征和非局部特征提取，并基于提取的特征进行对齐特征处理和基于参考的特征增强处理，得到对应的多张二级预处理图片；
14、步骤1.3，对初级预处理图片进行对齐特征后，再进行连拍特征注意力机制处理，获得三级预处理图片；
15、步骤1.4，将多个二级预处理图片和三级预处理图片进行相加，并进行对齐特征和连拍特征注意力机制处理，然后依次进行自适应突发池化和一维平均池化处理，获得四级预处理图片；
16、步骤1.5，对于所述四级预处理图片，沿着特征维度，基于关键帧算法得到突发帧，从而以z字形方式收集突发相邻帧，将收集的突发相邻帧通过突发特征融合单元进行融合，并基于无参考的特征增强方法整合所述突发相邻帧中可用的信息，得到五级预处理图片；
17、步骤1.6，将所述五级预处理图片进行上采样，输出最终的高分辨率图像，每帧图像对应一张高分辨率图像。
18、进一步地，将yolov7算法中cbs模块替换为cbs-sr模块得到改进后的yolov7算法。
19、进一步地，步骤3包括：将基于眼部的眼皮边缘的坐标结合对应的时间戳，传入lstm模型中，确定眼皮边缘运动轨迹。
20、进一步地，步骤3包括：
21、3.5.1将高分辨率图像转换为灰度图像；
22、3.5.2.对灰度图像应用高斯滤波器进行滤波；
23、3.5.3.使用sobel算子计算滤波后的图像的梯度，以获取图像中每个像素的梯度幅值和方向，同时对梯度图像进行非最大抑制，以保留边缘的细节；
24、3.5.4.根据设定的阈值，使用opencv中的边缘跟踪算法进行边缘跟踪；
25、3.5.5.在检测到的眼皮边缘上，使用hough变换算法来检测眼皮边缘的关键点；
26、3.5.6.用眼皮边缘的关键点的坐标减去基于眼部的眼皮边缘的坐标，计算出眼皮边缘关键点相对于眼睛的相对位置；
27、3.5.7对每一帧识别出眼皮的图像重复进行步骤3.5.1-3.5.6，将时间戳和基于眼部的眼皮边缘的坐标一一对应，得到眼皮边缘的运动轨迹。
28、第二方面，本专利技术实施例还提供了一种驾驶员疲劳监测预警系统，包括：第一处理模块，用于获取包含驾驶员面部图像的原始视频，按序从视频中读取出每帧图像，通过预处理模块对读取的每帧图像进行依次处理，得到对应的高分辨率图像；
29、第二处理模块，用于对于每张高分辨率图像，将所述高分辨率图像输入改进后的yolov7算法中检测出的眼球和眼皮边缘对应的多个目标框，以及目标框中的眼球和眼皮边缘的真实坐标；
30、第三处理模块，用于将每个目标框通过目标框解码的方法得到目标框的真实坐标，根据所述目标框的真实坐标，根据所述目标框的真实坐标将所述眼球和眼皮边缘的真实坐标进行坐标转换，得到基于眼部的眼球和眼皮边缘的坐标，根据基于眼部的眼皮边缘的坐标确定眼皮边缘运动轨迹，根据基于眼部的眼球的坐标确定眼球大小；
31、第四处理模块，用于将眼动仪收集的信息结合对应的时间戳，传入lstm模型中获得眼球的运动轨迹；
32、第五处理模块，用于对驾驶员进行头部检测得到头部状态信息，通过车辆自身传感器和车载系统获得车辆状态信息；
33、第六处理模块，用于，根据眼皮边缘运动轨迹、眼球大小、眼球的运动轨迹融合得到眼部状态信息，将的眼部状态信息，头部状态信息和车辆状态信息融合后传入多信息融合检测模块，综合判段驾驶员的驾驶状态。
34、第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所本文档来自技高网...
【技术保护点】
1.一种驾驶员疲劳监测预警方法，其特征在于，所述方法包括：
2.根据权利要求1所述驾驶员疲劳监测预警方法，其特征在于，所述方法还包括：
3.根据权利要求1所述驾驶员疲劳监测预警方法，其特征在于，步骤1包括：
4.根据权利要求2所述驾驶员疲劳监测预警方法，其特征在于，将YOLOV7算法中CBS模块替换为CBS-SR模块得到改进后的YOLOV7算法。
5.一种根据权利要求4中所述驾驶员疲劳监测预警方法，其特征在于，步骤3包括：将基于眼部的眼皮边缘的坐标结合对应的时间戳，传入LSTM模型中，确定眼皮边缘运动轨迹。
6.一种根据权利要求4中所述驾驶员疲劳监测预警方法，其特征在于，步骤3包括：
7.根据权利要求2所述驾驶员疲劳监测预警方法，其特征在于，步骤5包括：
8.一种驾驶员疲劳监测预警系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述驾驶员疲劳监测预警方法。
...【技术特征摘要】
1.一种驾驶员疲劳监测预警方法，其特征在于，所述方法包括：
2.根据权利要求1所述驾驶员疲劳监测预警方法，其特征在于，所述方法还包括：
3.根据权利要求1所述驾驶员疲劳监测预警方法，其特征在于，步骤1包括：
4.根据权利要求2所述驾驶员疲劳监测预警方法，其特征在于，将yolov7算法中cbs模块替换为cbs-sr模块得到改进后的yolov7算法。
5.一种根据权利要求4中所述驾驶员疲劳监测预警方法，其特征在于，步骤3包括：将基于眼部的眼皮边缘的坐...
【专利技术属性】
技术研发人员：陈振斌，祝玉冰，李培新，欧阳颖，赖佳琴，张天虎，
申请(专利权)人：海南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。