一种基于神经网络的疲劳驾驶检测方法及相关设备技术

本发明专利技术涉及图像检测领域的神经网络技术，具体涉及一种基于神经网络的疲劳驾驶检测方法及相关设备，所述方法包括：采集多张疲劳人脸图像输入至卷积神经网络中进行深度学习；计算待识别人脸图像的特征值组并获取疲劳预测值；当疲劳预测值大于预测阈值时，计算驾驶员的疲劳权重，当疲劳权重超过权重阈值时，判断驾驶员为疲劳状态。上述方法采用人脸识别技术和语音识别技术，提高疲劳驾驶检测的效率，避免错过最佳安全保护时间，造成重大交通事故。

A Fatigue Driving Detection Method and Related Equipment Based on Neural Network

【技术实现步骤摘要】
一种基于神经网络的疲劳驾驶检测方法及相关设备
本专利技术涉及图像检测领域，特别是涉及一种基于神经网络的疲劳驾驶检测方法及相关设备。
技术介绍
随着人们生活水平的逐渐提升，汽车已成为人们日常出行的主要交通工具，汽车给人们的工作、生活带来了翻天覆地的变化，但是随之而来的是大量的汽车出现在马路上，也逐渐引发了很多交通问题，尤其是人为因素已成为目前引发交通事故的主要原因。现有的检测技术多集中于酒精检测方面，针对疲劳驾驶目前没有很精确的判别标准，而且采用的检测技术相对比较保守，只通过简单的人脸识别便做出最终结果的判断，不仅识别方法精确度低，而且很容易造成检测失误，给驾驶员带来困扰，造成不必要的麻烦。
技术实现思路
基于此，有必要针对检测技术保守，不能精确识别人脸疲劳程度的问题，提供一种基于神经网络的疲劳驾驶检测方法及相关设备。一种基于神经网络的疲劳驾驶检测方法，包括：采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。在一种可能的设计中，所述采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库，包括：通过图像输入设备采集多张使用车辆的驾驶员的疲劳人脸图像；将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分；将分割后的多张所述疲劳人脸图像依次输入卷积神经网络，通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库。在一种可能的设计中，所述所述将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分，包括：通过预设的几何形状识别方法定位疲劳人脸图像中人脸的九个侦测点，所述几何形状识别方法通过识别预设的几何形状定位侦测点，所述预设的几何形状包括嘴唇形状、眼睛形状、鼻子形状、下巴形状、额头形状，获取的九个侦测点分别为左右耳尖的两个侦测点、左右眼角的两个侦测点、鼻尖的一个侦测点、嘴角的两个侦测点、额头的一个侦测点、下巴的一个侦测点；依据九个侦测点定位人脸位置和大小，将人脸以外部分去除。在一种可能的设计中，所述通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库，包括：通过卷积神经网络的卷积层读取分割后的所述疲劳人脸图像的二维数据，利用卷积神经网络的卷积核对所述二维数据进行计算，得到疲劳人脸图像的特征图，所述特征图的计算公式如下：其中，R、G、B为所述疲劳人脸图像的三原色数值，Wi1、Wi2、Wi3为卷积核、为卷积运算符，Fi表示第i个特征图，bi表示第i个特征图计算的偏差量；通过卷积神经网络的池化层提取每个特征图中的最大值作为卷积神经网络的特征值，卷积神经网络的输出层输出所有特征值生成特征值组，存储至疲劳预测数据库。在一种可能的设计中，所述所述当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值，包括：定时对所述主驾驶位置进行一次人脸扫描，当所述主驾驶位置存在驾驶员时，采集所述驾驶员最近一次人脸图像；将驾驶员的待识别人脸图像输入到卷积神经网络中，计算所述待识别图像的特征值组；将所述特征值组与疲劳预测数据库中的特征值组比对，获取特征值组中特征值相同数量的最大值，将所述最大值定义为疲劳预测值。在一种可能的设计中，所述当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间，包括：将所述疲劳预测值与预设的预测阈值比较，当所述疲劳预测值大于所述预测阈值时，触发语音问答系统，通过所述语音问答系统调取预设的问题库，抽取多个问题，依据问题询问所述驾驶员，并调用预设的计时器进行计时；获取所述驾驶员回答的答案，与预设的问题答案对比，统计所述驾驶员回答多个所述问题的错题数量；获取所述计时器中所述驾驶员回答每个问题的反应时间，所述反应时间为所述语音问答系统读完问题到接收到所述答案的计时时间。在一种可能的设计中，所述计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，包括：依据所述反应时间计算平均反应时间，所述反应时间均以秒计算，以下为平均反应时间的计算公式：其中，n为问题数量，sn为第n个问题的反应时间，为平均反应时间；将平均反应时间去除单位，记为数值将所述疲劳预测值记为m，错误数量记为k，计算所述驾驶员的疲劳权重，以下为疲劳权重的计算公式：f1+f2+f3＝1其中f1为时间权重系数、f2为预测权重系数、f3为答题权重系数，A为待识别人脸图像的疲劳权重。基于相同的技术构思，本专利技术还提供了一种基于神经网络的疲劳驾驶检测装置，所述一种基于神经网络的疲劳驾驶检测装置，包括：网络学习模块，设置为采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；图像计算模块，设置为当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；语音问答模块，设置为当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；疲劳判断模块，设置为计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。基于相同的构思，本申请提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述所述一种基于神经网络的疲劳驾驶检测方法的步骤。基于相同的构思，本申请提出一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述一种基于神经网络的疲劳驾驶检测方法的步骤。上述一种基于神经网络的疲劳驾驶检测方法及相关设备，通过采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；当所述疲劳预测本文档来自技高网...

【技术保护点】
1.一种基于神经网络的疲劳驾驶检测方法，其特征在于，包括：采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。

【技术特征摘要】
1.一种基于神经网络的疲劳驾驶检测方法，其特征在于，包括：采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。2.如权利要求1所述的一种基于神经网络的疲劳驾驶检测方法，其特征在于，所述采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库，包括：通过图像输入设备采集多张使用车辆的驾驶员的疲劳人脸图像；将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分；将分割后的多张所述疲劳人脸图像依次输入卷积神经网络，通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库。3.如权利要求2所述的一种基于神经网络的疲劳驾驶检测方法，其特征在于，所述将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分，包括：通过预设的几何形状识别方法定位疲劳人脸图像中人脸的九个侦测点，所述几何形状识别方法通过识别预设的几何形状定位侦测点，所述预设的几何形状包括嘴唇形状、眼睛形状、鼻子形状、下巴形状、额头形状，获取的九个侦测点分别为左右耳尖的两个侦测点、左右眼角的两个侦测点、鼻尖的一个侦测点、嘴角的两个侦测点、额头的一个侦测点、下巴的一个侦测点；依据九个侦测点定位人脸位置和大小，将人脸以外部分去除。4.如权利要求2所述的一种基于神经网络的疲劳驾驶检测方法，其特征在于，所述通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库，包括：通过卷积神经网络的卷积层读取分割后的所述疲劳人脸图像的二维数据，利用卷积神经网络的卷积核对所述二维数据进行计算，得到疲劳人脸图像的特征图，所述特征图的计算公式如下：其中，R、G、B为所述疲劳人脸图像的三原色数值，Wi1、Wi2、Wi3为卷积核、为卷积运算符，Fi表示第i个特征图，bi表示第i个特征图计算的偏差量；通过卷积神经网络的池化层提取每个特征图中的最大值作为卷积神经网络的特征值，卷积神经网络的输出层输出所有特征值生成特征值组，存储至疲劳预测数据库。5.如权利要求1所述的一种基于神经网络的疲劳驾驶检测方法，其特征在于，所述当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值，包括：定时对所述主驾驶位置进行一次人脸扫描，当所述主驾驶位置存在驾驶员...

【专利技术属性】
技术研发人员：李源，杜炜，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44