【技术实现步骤摘要】
本申请涉及疲劳检测，具体涉及一种基于面部特征的疲劳驾驶识别方法及相关装置。
技术介绍
1、伴随我国经济的迅速增长和公路体系的逐渐完善，汽车现在已经成为我国公民最常使用的交通运输工具。实时准确的对驾驶员疲劳特征进行识别对于减少交通事故的发生具有重要意义。
2、目前的疲劳驾驶识别方法根据判断的特征划分为基于驾驶员生理信号识别、基于车辆特征识别和基于驾驶员面部特征识别三类方法。基于驾驶员生理信号的识别方法，是通过佩戴医疗设备实时获取心电信、脑电信号和脉搏等生理信号，分析识别驾驶员的疲劳状态；该类方法虽然具有较高的精度，但需要驾驶员穿戴相应专业设备，具有较强侵入性。基于车辆状态特征的识别方法，是通过分析车辆刹车、车道偏离和车速变化等鉴别驾驶员疲劳状态，但这些特征受外部环境、路况和驾驶员的操作水平与习惯影响，可靠性不高。基于面部特征的疲劳驾驶识别方法，是使用计算机视觉方法鉴别驾驶员嘴部、眼部以及头部是否出现疲劳特征来识别疲劳驾驶，该类方法具有实时性好、精度高、侵入性小和成本较低等优势，但目前已有方法存在采用特征单一、鲁棒性较差等问题。
技术实现思路
1、本申请实施例提供一种基于面部特征的疲劳驾驶识别方法及相关装置，综合分析驾驶员头部、嘴部和眼部三大面部特征，实现对驾驶员驾驶状态实时识别的高准确性与高鲁棒性。
2、本申请实施例的第一方面提供了一种基于面部特征的疲劳驾驶识别方法，所述疲劳驾驶识别方法包括：
3、通过车载摄像设备采集驾驶员在驾车时的驾驶员图像集合
4、采用头部姿态估计与人脸关键点检测多任务神经网络对驾驶员图像集合中的驾驶员图像进行处理，得到每张驾驶员图像对应的头部偏转角和人脸关键点坐标；
5、采用所述人脸关键点坐标对将对应的驾驶员图像进行图像裁剪，得到每张驾驶员图像对应的左眼图像、右眼图像和嘴部图像；
6、将所述每张驾驶员图像对应的左眼图像、右眼图像和嘴部图像输入至轻量化多分类神经网络中对驾驶员进行状态识别，得到每张驾驶员图像对应的嘴部状态和眼部状态；
7、采用所述每张驾驶员图像对应的头部偏转角、嘴部状态和眼部状态对驾驶员进行疲劳检测，得到驾驶员的疲劳状态。
8、本专利技术与现有技术相比，具有如下的优点和有益效果：1、本专利技术是通过摄像设备采集正视角驾驶员图像进行疲劳驾驶识别，不需驾驶员穿戴设备，不具有较强侵入性。2、本专利技术利用头部姿态估计与人脸关键点检测任务高相关性，引入多任务学习机制，将头部姿态估计设置为主任务，借助人脸关键点检测提升头部姿态估计的准确性。3、本专利技术采用多指标综合分析驾驶员疲劳状态，且不同指标不依靠单一网络进行识别，复杂环境条件下本专利技术仍具有较高的泛化性和鲁棒性。4、本专利技术在多任务检测网络采用共用主干网络仅增加分支网络形式，以及在多分类神经网络根据任务采用轻量化网络框架，在保障识别性能的前提下，不显著增加硬件资源的消耗和识别时间。
9、本申请实施例的第二方面提供一种基于面部特征的疲劳驾驶识别装置，所述装置包括：
10、采集单元，用于通过车载摄像设备采集驾驶员在驾车时的驾驶员图像集合，所述驾驶员图像集合为预设时间间隔内采集的驾驶员图像构成的集合；
11、处理单元，用于采用头部姿态估计与人脸关键点检测多任务神经网络对驾驶员图像集合中的驾驶员图像进行处理，得到每张驾驶员图像对应的头部偏转角和人脸关键点坐标；
12、裁剪单元，用于采用所述人脸关键点坐标对将对应的驾驶员图像进行图像裁剪，得到每张驾驶员图像对应的左眼图像、右眼图像和嘴部图像；
13、识别单元，用于将所述每张驾驶员图像对应的左眼图像、右眼图像和嘴部图像输入至轻量化多分类神经网络中对驾驶员进行状态识别，得到每张驾驶员图像对应的嘴部状态和眼部状态；
14、检测单元，用于采用所述每张驾驶员图像对应的头部偏转角、嘴部状态和眼部状态对驾驶员进行疲劳检测，得到驾驶员的疲劳状态。
15、本申请实施例的第三方面提供一种终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
16、本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
17、本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本文档来自技高网...【技术保护点】
1.一种基于面部特征的疲劳驾驶识别方法，其特征在于，所述疲劳驾驶识别方法包括：
2.根据权利要求1所述的基于面部特征的疲劳驾驶识别方法，其特征在于：所述头部姿态估计与人脸关键点检测多任务神经网络HFMNet具体如下：
3.根据权利要求2所述的基于面部特征的疲劳驾驶识别方法，其特征在于，采用所述人脸关键点坐标对将对应的驾驶员图像进行图像裁剪，得到每张驾驶员图像对应的左眼图像、右眼图像和嘴部图像，包括：
4.根据权利要求3所述的基于面部特征的疲劳驾驶识别方法，其特征在于：所述步骤4中，轻量化多分类神经网络为改进的ShuffleNetV2网络：
5.根据权利要求4所述的基于面部特征的疲劳驾驶识别方法，其特征在于，所述疲劳状态包括眨眼频率、最长闭眼时间、是否打哈欠、点头频率以及最长低头时间，具体判断依据如下：
6.一种基于面部特征的疲劳驾驶识别装置，其特征在于，所述装置包括：
7.一种终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
...【技术特征摘要】
1.一种基于面部特征的疲劳驾驶识别方法，其特征在于，所述疲劳驾驶识别方法包括：
2.根据权利要求1所述的基于面部特征的疲劳驾驶识别方法，其特征在于：所述头部姿态估计与人脸关键点检测多任务神经网络hfmnet具体如下：
3.根据权利要求2所述的基于面部特征的疲劳驾驶识别方法，其特征在于，采用所述人脸关键点坐标对将对应的驾驶员图像进行图像裁剪，得到每张驾驶员图像对应的左眼图像、右眼图像和嘴部图像，包括：
4.根据权利要求3所述的基于面部特征的疲劳驾驶识别方法，其特征在于：所述步骤4中，轻量化多分类神经网络为改进的shufflenetv2网络：
5.根据权利要求4所述的基于面部特征的疲劳驾驶识别方法，其特...
【专利技术属性】
技术研发人员：陈昌川，王鑫，龙虹毓，温平川，代少升，刘劲松，谢卓呈，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。