一种基于深度学习的疲劳检测方法、系统和计算机设备技术方案

技术编号:20566903 阅读:48 留言:0更新日期:2019-03-14 09:35
本发明专利技术公开了一种基于深度学习的疲劳检测方法、系统和计算机设备,方法包括:获取当前帧视频流图片;通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息;所述人脸位置信息包括人脸框的位置信息;所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息;基于所述人眼位置信息,通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息;根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度,判断出疲劳状态。本发明专利技术能够快速跟踪到人脸位置及提取提取眼睛上下边缘特征点,且识别精度更高,从而快速准确地检测出疲劳状态。

【技术实现步骤摘要】
一种基于深度学习的疲劳检测方法、系统和计算机设备
本专利技术涉及汽车驾驶辅助终端领域,具体涉及一种基于深度学习的疲劳检测方法、系统和计算机设备。
技术介绍
随着社会的快速发展,道路上交通车辆呈现井喷式增长,交通事故也频繁发生。发生交通事故最主要的原因是司机疲劳驾驶,在行车过程中反应过慢。所以,实时检测司机开车时的疲劳状态是非常重要的,及时的提醒司机往往能够大大减少交通事故的发生。目前疲劳检测的方法也是多种多样的,就视觉识别方法来说有以下几种:(1)纯图像算法处理的疲劳检测算法:adaboost人脸检测算法检测人脸;对人脸区域进行水平投影和垂直投影定位人眼;根据大津法取阈值二值化眼睛区域;最后,通过二值化之后的图像判断眼睛的是张开还是闭合。优点:速度很快,在良好的光照条件有比较好的识别效果;缺点:无法适应复杂的光照条件,所以应用场景单一。(2)传统的机器学习疲劳检测算法:利用adaboost或者JDA算法进行人脸检测,然后使用LBP特征进行人脸特征点定位并且跟踪,跟踪人脸特征点可以找到人眼位置,将人眼区域输进去支持向量机里面分类判断疲劳状态。优点:速度也是较快,模型鲁棒性增强;缺点:无法区分眼睛张开程度,对于小眼睛情况全部认为是闭眼。(3)深度学习的疲劳检测算法:利用MTCNN检测人脸,同时利用MTCNN输出的人脸特征点定位眼睛,将定位出来的眼睛输入深度学习模型通过直接分类判断疲劳。优点是:人脸定位准确,疲劳分类准确;缺点:MTCNN人脸检测速度比较慢,分类结果不能实时反映眼睛张开状态。
技术实现思路
本专利技术的主要目的在于提出一种基于深度学习的疲劳检测方法、系统和计算机设备,能够使得识别速度更快,识别效果更好。本专利技术采用如下技术方案:一方面,本专利技术提供一种基于深度学习的疲劳检测方法,包括:获取当前帧视频流图片;通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息;基于所述人眼位置信息,通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息;所述人脸位置信息包括人脸框的位置信息;所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息;根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度,判断出疲劳状态。优选的,所述通过基于第一深度学习模型的人脸跟踪算法获得当前帧视频流图片的人脸位置信息和人眼位置信息,具体包括:步骤a1,判断当前帧视频流图片的前一帧是否检测有检测到人脸;如果没有,使用MTCNN算法检测当前帧视频流图片的人脸位置并保存,不再执行其他步骤;否则,执行步骤a2;步骤a2,将前一帧检测到的人脸位置扩大预设倍数后作为当前帧人脸框图并归一化到指定尺寸;步骤a3,通过第一深度学习模型识别出当前帧人脸框图是否包括人脸;如果包括,执行步骤a4;步骤a4,通过第一深度学习模型提取当前帧人脸框图的人脸位置信息;并通过第一深度学习模型提取当前帧人脸框图的人眼位置信息。优选的,所述第一深度学习模型输出3个全连层,分别为fc1、fc2和fc3;其中,fc1全连接层输出2个神经元用于人脸分类,fc2输出4个神经元用于人脸框位置提取,fc3输出8个神经元用于人眼位置提取。优选的,所述第一深度学习模型的损失函数如下:L=L1+L2+L3L1表示人脸分类使用的交叉熵损失函数,表示如下:其中,yi表示分类0或者1的标签,0表示不是人脸,1表示为人脸;pi表示模型预测的概率值;L2表示人脸框位置提取使用的欧式损失函数,表示如下:其中,和分别表示当前预测人脸框的4个值与当前人脸框标签的4个值;L3表示人眼位置提取使用的欧式损失函数,表示如下:其中,和分别表示当前预测人眼位置点的8个值与当前人眼位置点标签的8个值。优选的,所述通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息,具体包括:步骤b1,基于提取的人眼位置,以左右两个眼角特征点间的距离为眼睛尺寸,将一只眼睛的中心扩大预设倍数后作为当前帧人眼框图并归一化到指定尺寸;步骤b2,通过第二深度学习模型识别出当前帧人眼框图是否包括人眼;如果包括,执行步骤b3;步骤b3,通过第二深度学习模型提取当前帧人眼框图的眼睛上下边缘特征点landmark的位置信息;其中,眼睛上下边缘特征点landmark包括左右两个眼角的特征点、上眼睑边缘特征点和下眼睑边缘特征点;所述上眼睑和下眼睑的边缘特征点点数相同且呈对称分布。优选的,所述第二深度学习模型输出2个全连层,分别为fc4和fc5;其中,fc4全连接层输出2个神经元用于人眼分类;fc5输出预设个神经元用于眼睛上下边缘特征点landmark位置提取。优选的,所述第二深度学习模型的损失函数如下:L_eye=L1_eye+L2_eyeL1_eye表示人眼分类使用的交叉熵损失函数,表示如下:其中,yi_eye表示分类0、1或-1的标签,0表示不是人眼,1表示是人眼,-1表示部分人眼;pi_eye表示模型预测的概率值;L2_eye表示眼睛上下边缘特征点landmark位置提取使用的欧式损失函数,表示如下:其中,和分别表示当前预测眼睛上下边缘特征点landmark的若干个值与当前眼睛上下边缘特征点landmark标签的若干个值;m_eye表示预设的眼睛上下边缘特征点landmark个数。优选的,所述根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度,判断出疲劳状态,具体包括:根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度;根据眼睛张开程度,使用Perclos中P80准则判断司机是否疲劳。第二方面,本专利技术提供一种基于深度学习的疲劳检测系统,包括:图片获取模块,用于获取当前帧视频流图片;人脸跟踪及位置提取模块,用于通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息;所述人脸位置信息包括人脸框的位置信息;所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息;人眼特征点提取模块,用于基于所述人眼位置信息,通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息;疲劳分析模块,用于根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度,判断出当前帧是否为疲劳状态。第三方面,本专利技术提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述的疲劳检测方法。与现有技术相比,本专利技术的有益效果如下:(1)本专利技术一种基于深度学习的疲劳检测方法、系统和计算机设备,能够在嵌入式RAM平台上实现疲劳状态检测,且在白天复杂环境或者黑夜不同光线下有很高的识别率;(2)本专利技术一种基于深度学习的疲劳检测方法、系统和计算机设备,基于第一深度学习模型对MTCNN检测到的人脸进行快速跟踪,跟踪目的是提高每帧人脸检测速度,同时输出跟踪获得当前帧的人脸位置和人眼位置;(3)本专利技术一种基于深度学习的疲劳检测方法、系统和计算机设备,基于第二深度学习模型输出眼睛图像的分数(是否眼睛)以及眼睛上下边缘特征点landmark的位置,通过眼睛分数和landmark计算眼睛张开程度;并根据眼睛张开程度,使用Percl本文档来自技高网...

【技术保护点】
1.一种基于深度学习的疲劳检测方法,其特征在于,包括:获取当前帧视频流图片;通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息;所述人脸位置信息包括人脸框的位置信息;所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息;基于所述人眼位置信息,通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息;根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度,判断出疲劳状态。

【技术特征摘要】
1.一种基于深度学习的疲劳检测方法,其特征在于,包括:获取当前帧视频流图片;通过基于第一深度学习模型的人脸跟踪算法提取当前帧视频流图片的人脸位置信息和人眼位置信息;所述人脸位置信息包括人脸框的位置信息;所述人眼位置信息包括每只眼睛左右两个眼角的特征点位置信息;基于所述人眼位置信息,通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息;根据眼睛上下边缘特征点landmark的位置信息计算眼睛张开程度,判断出疲劳状态。2.根据权利要求1所述的基于深度学习的疲劳检测方法,其特征在于,所述通过基于第一深度学习模型的人脸跟踪算法获得当前帧视频流图片的人脸位置信息和人眼位置信息,具体包括:步骤a1,判断当前帧视频流图片的前一帧是否检测有检测到人脸;如果没有,使用MTCNN算法检测当前帧视频流图片的人脸位置并保存,不再执行其他步骤;否则,执行步骤a2;步骤a2,将前一帧检测到的人脸位置扩大预设倍数后作为当前帧人脸框图并归一化到指定尺寸;步骤a3,通过第一深度学习模型识别出当前帧人脸框图是否包括人脸;如果包括,执行步骤a4;步骤a4,通过第一深度学习模型提取当前帧人脸框图的人脸位置信息;并通过第一深度学习模型提取当前帧人脸框图的人眼位置信息。3.根据权利要求2所述的基于深度学习的疲劳检测方法,其特征在于,所述第一深度学习模型输出3个全连层,分别为fc1、fc2和fc3;其中,fc1全连接层输出2个神经元用于人脸分类,fc2输出4个神经元用于人脸框位置提取,fc3输出8个神经元用于人眼位置提取。4.根据权利要求3所述的基于深度学习的疲劳检测方法,其特征在于,所述第一深度学习模型的损失函数如下:L=L1+L2+L3L1表示人脸分类使用的交叉熵损失函数,表示如下:其中,yi表示分类0或者1的标签,0表示不是人脸,1表示为人脸;pi表示模型预测的概率值;L2表示人脸框位置提取使用的欧式损失函数,表示如下:其中,和分别表示当前预测人脸框的4个值与当前人脸框标签的4个值;L3表示人眼位置提取使用的欧式损失函数,表示如下:其中,和分别表示当前预测人眼位置点的8个值与当前人眼位置点标签的8个值。5.根据权利要求1所述的基于深度学习的疲劳检测方法,其特征在于,所述通过基于第二深度学习模型的眼睛状态识别算法提取眼睛上下边缘特征点landmark的位置信息,具体包括:步骤b1,基于提取的人眼位置,以左右两个眼角特征点间的距离为眼睛尺寸,将一只眼睛的中心扩大预设倍数后作为当前帧人眼框图并归一化到指定尺寸;步骤b2,通过...

【专利技术属性】
技术研发人员:袁嘉言
申请(专利权)人:厦门瑞为信息技术有限公司
类型:发明
国别省市:福建,35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1