基于人脸识别、关键点检测的疲劳度检测装置及其检测方法制造方法及图纸

本发明专利技术公开了基于人脸识别、关键点检测的疲劳度检测装置，包括人脸信号处理模块、人脸状态采集模块、感光模块、GPS模块、语音报警模块和电源管理模块，所述人脸信号处理模块分别与人脸状态采集模块、感光模块、GPS模块、语音模块有线连接通信，同时由电源管理模块供电；疲劳度检测方法包括人脸注册阶段、疲劳度检测阶段、补光调节阶段、更新阶段，通过智能调节补光亮度，解决疲劳驾驶检测中个体存在差异、结果受光照条件的影响等问题，并提供了一种基于手机APP更新和操作的方法，减少设备维护的成本。本。本。

【技术实现步骤摘要】
基于人脸识别、关键点检测的疲劳度检测装置及其检测方法


[0001]本专利技术是属于计算机视觉领域，具体涉及基于人脸识别、关键点检测的疲劳度检测装置及其检测方法。

技术介绍

[0002]市面上疲劳度检测的方法比较多，比较典型的有下面三种：
[0003]一、利用生理传感器检测驾驶员的生理状态，如脑电、心率、呼吸等。该方法准确度最高，但成本高，且驾驶员多会排斥佩戴生理传感器。
[0004]二、利用车载传感器检测车的状态，如油门、刹车、方向盘转向等，从而进一步推测驾驶员的状态。该方法成本低，但缺乏实时性和准确性，往往是事故将要发生，才能告警，导致驾驶员的反应不及。
[0005]三、利用计算机视觉检测驾驶员的面部状态，如眼睛、嘴巴等，其中利用PERCLOS算法检测出驾驶员的疲劳状态，也是大部分疲劳检测专利所用的方法。
[0006]A、专利号CN105354985介绍了一种利用计算机视觉检测疲劳度的算法，具体的，使用Haar
‑
Like特征计算出瞳孔大小，结合PERCLOS算法，检测驾驶员疲劳状态。
[0007]B、专利号CN105096528介绍了一种通用性的疲劳度检测方法，从驾驶员肢体和表情状态、驾驶时长、车辆状态、路况信息等因素综合检测疲劳度。
[0008]上述专利在解决技术问题主要存在以下几点问题：
[0009]1.专利一虽然采用PERCLOS算法检测，但其中需要用到的几个重要指标，个体存在差异，比如眼睛完全睁开时的大小、眼睛睁开到80％的时间等。如果只用PERCLOS算法检测，容易产生误检、检测不准的情况。
[0010]2.专利二采用驾驶员的状态随时间改变来判断疲劳度，且会4小时更新一次基准人脸，该方法不受驾驶员个体差异的影响，但无法确保驾驶员刚开始驾驶既为疲劳状态的情况，而且设备安装较为麻烦，需安装多种传感器。
[0011]3.考虑到行驶过程中，光照条件比较复杂，图片容易出现过暗或者过亮，会使人脸关键点算法表现不佳，从而导致结果不准确。
[0012]4.车载设备程序的设置和更新，多数需要专业开发或者维护人员操作，操作成本较高。

技术实现思路

[0013]本专利技术提供一种基于人脸识别、关键点检测的疲劳度检测装置及其检测方法，并通过智能调节补光亮度，解决疲劳驾驶检测中个体存在差异、结果受光照条件的影响等问题，并提供了一种基于手机APP更新和操作的方法，减少设备维护的成本。
[0014]本专利技术的技术方案是：基于人脸识别、关键点检测的疲劳度检测装置，包括人脸信号处理模块、人脸状态采集模块、感光模块、GPS模块、语音报警模块和电源管理模块，所述人脸信号处理模块分别与人脸状态采集模块、感光模块、GPS模块、语音模块有线连接通信，
同时由电源管理模块供电。
[0015]进一步的，还包括APP模块，所述APP模块通过BLE与WIFI协议与人脸信号处理模块无线连接通信。
[0016]进一步的，所述人脸信号处理模块采用ESP32系列芯片作为处理器，所述ESP32系列芯片与人脸状态采集模块、语音模块、GSP模块通过UART连接，与感光模块通过I2C连接；
[0017]具体如下：将IO19设为TXD1接口，IO18设为RXD1接口与人脸状态采集模块连接，双向通信；将IO32设为RXD2接口与GPS模块连接，单向接收GPS数据；将IO33设为TXD2接口与语音模块连接，单向发送指令；将IO20设为CLK接口，IO21设为SD0接口，与感光模块连接，双向通信。
[0018]进一步的，所述ESP32支持两种无线连接方式：BLE和WIFI；且支持OTA功能。
[0019]本专利技术还提供基于人脸识别、关键点检测的疲劳度检测方法，包括人脸注册阶段和疲劳度检测阶段；
[0020]所述人脸注册阶段：先提取驾驶员的人脸特征，再与人脸库进行人脸对比，如果未找到人脸特征，语音提示保持正常驾驶姿势，并启用关键点检测，记录正常状态下驾驶员的人脸信息，所述人脸信息包括人脸特征值、眼睛完全睁开时的大小E0，最后将人脸信息写入人脸库中；如果找到人脸特征，则读取人脸库中的人脸信息；
[0021]所述疲劳度检测阶段：先得到人脸特征中的关键点，计算当前瞳孔大小E1，若E1/E0的值小于第一阈值，则闭眼状态S0加上持续时间；反之若E1/E0的值大于等于第一阈值，睁眼状态S1加上持续时间，计算一分钟内S0/(S0+S1)的值，若大于第二阈值且存在连续闭眼状态，则触发疲劳报警。所述第一阈值为0.2，第二阈值为0.4。
[0022]进一步的，所述人脸注册阶段具体步骤如下：
[0023]步骤1001、判断是否首次检测到人脸：设备通电后，初始化标志A为False.在人脸状态采集模块检测到人脸时，取检测到的最大人脸，如果人脸角度在正常范围内且A的值为False且人脸区域的清晰度大于第三阈值，则进入步骤1002中特征匹配人脸库并将A的值置为True；否则重新检测人脸；其中人脸角度在正常范围内(|roll|<60、|pitch|<18、|yaw|<18)，其中：roll为人脸左右倾斜角，pitch为人脸上下俯仰角，yaw为人脸左右扭头角。
[0024]步骤1002、特征匹配人脸库：人脸状态采集模块根据步骤1001中检测到的人脸图片进行提取人脸特征，再将检测到的人脸特征与人脸库中的特征进行遍历比较；取比较结果最大的分数，如果该分数大于第四阈值，则进入步骤1003调用人脸库中的眼睛大小；否则进入步骤1004判断车速；所述第四阈值为80。
[0025]步骤1003、调用人脸库中的眼睛大小：根据步骤1002中匹配人脸库的结果ID，读取ID在人脸库中对应的眼睛大小字段，并进入步骤1007人脸追踪；
[0026]步骤1004、判断车速：读取GPS模块的速度参数，如果速度小于第五阈值，则进入步骤1005采集信息，否则进入步骤1006读取系统预留的眼睛大小；所述GPS模块中，在检测到车的时速小于第五阈值时，关闭检测；所述第五阈值为20km/h。
[0027]步骤1005、采集信息：语音报警模块提示用户，正在采样，保持正常驾驶姿势；人脸状态采集模块采集多帧用户的眼睛相对大小；并取出现次数最多的眼睛大小数值，与人脸特征一起存入人脸库中；并进入步骤1007人脸追踪；
[0028]步骤1006、读取系统预留的眼睛大小：读取人脸信号处理模块中默认的眼睛大小
参数，进入步骤1007人脸追踪；
[0029]步骤1007、人脸追踪：判断当前帧人脸矩形框和上一帧人脸矩形框的交并比,计算公式为:
[0030]IOU＝(C∩D)/(C∪D)
[0031]C为当前帧矩形框，D为上一帧矩形框；
[0032]当交并比大于第六阈值时，进入疲劳度检测阶段，否则进入步骤1001重新检测人脸并将标志A的值置为False。
[0033]进一步的，所述疲劳度检测阶本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于人脸识别、关键点检测的疲劳度检测装置，其特征在于：包括人脸信号处理模块、人脸状态采集模块、感光模块、GPS模块、语音报警模块和电源管理模块，所述人脸信号处理模块分别与人脸状态采集模块、感光模块、GPS模块、语音模块有线连接通信，同时由电源管理模块供电。2.根据权利要求1所述的基于人脸识别、关键点检测的疲劳度检测装置，其特征在于：还包括APP模块，所述APP模块通过BLE与WIFI协议与人脸信号处理模块无线连接通信。3.根据权利要求1所述的基于人脸识别、关键点检测的疲劳度检测装置，其特征在于：所述人脸信号处理模块采用ESP32系列芯片作为处理器，所述ESP32系列芯片与人脸状态采集模块、语音模块、GSP模块通过UART连接，与感光模块通过I2C连接；具体如下：将IO19设为TXD1接口，IO18设为RXD1接口与人脸状态采集模块连接，双向通信；将IO32设为RXD2接口与GPS模块连接，单向接收GPS数据；将IO33设为TXD2接口与语音模块连接，单向发送指令；将IO20设为CLK接口，IO21设为SD0接口，与感光模块连接，双向通信。4.根据权利要求3所述的基于人脸识别、关键点检测的疲劳度检测装置，其特征在于：所述ESP32支持两种无线连接方式：BLE和WIFI；且支持OTA功能。5.基于人脸识别、关键点检测的疲劳度检测方法，其特征在于：包括人脸注册阶段和疲劳度检测阶段；所述人脸注册阶段：先提取驾驶员的人脸特征，再与人脸库进行人脸对比，如果未找到人脸特征，语音提示保持正常驾驶姿势，并启用关键点检测，记录正常状态下驾驶员的人脸信息，所述人脸信息包括人脸特征值、眼睛完全睁开时的大小E0，最后将人脸信息写入人脸库中；如果找到人脸特征，则读取人脸库中的人脸信息；所述疲劳度检测阶段：先得到人脸特征中的关键点，计算当前瞳孔大小E1，若E1/E0的值小于第一阈值，则闭眼状态S0加上持续时间；反之若E1/E0的值大于等于第一阈值，睁眼状态S1加上持续时间，计算一分钟内S0/(S0+S1)的值，若大于第二阈值且存在连续闭眼状态，则触发疲劳报警。6.根据权利要求5所述的基于人脸识别、关键点检测的疲劳度检测方法，其特征在于：所述人脸注册阶段具体步骤如下：步骤1001、判断是否首次检测到人脸：设备通电后，初始化标志A为False.在人脸状态采集模块检测到人脸时，取检测到的最大人脸，如果人脸角度在正常范围内且A的值为False且人脸区域的清晰度大于第三阈值，则进入步骤1002中特征匹配人脸库并将A的值置为True；否则重新检测人脸；步骤1002、特征匹配人脸库：人脸状态采集模块根据步骤1001中检测到的人脸图片进行提取人脸特征，再将检测到的人脸特征与人脸库中的特征进行遍历比较；取比较结果最大的分数，如果该分数大于第四阈值，则进入步骤1003调用人脸库中的眼睛大小；否则进入步骤1004判断车速；步骤1003、调用人脸库中的眼睛大小：根据步骤1002中匹配人脸库的结果ID，读取ID在人脸库中对应的眼睛大小字段，并进入步骤1007人脸追踪；步骤1004、判断车速：读取GPS模块的速度参数，如果速度小于第五阈值，则进入步骤1005采集信息，否则进入步骤1006读取系统预留的眼睛大小；所述GPS模块中，在检测到车
的时速小于第五阈值时，关闭检测；步骤1005、采集信息：语音报警模块提示用户，正在采样，保持正常驾驶姿势；人脸状态采集模块采集多帧用户的眼睛相对大小；并取出现次数最多的眼睛大小数值，与人脸特征一起存入人脸库中；并进入步骤1007人脸追踪；步骤1006、读取系统预留的眼睛大小：读取人脸信号处理模块中默认的眼睛大小参数，进入步骤1007人脸追踪；步骤1007、人脸追踪：判断当前帧人脸矩形框和上一帧人脸矩形框的交并比,计算公式为：IOU＝(C∩D)/(C∪D)C为当前帧矩形框，D为上一帧矩形框；当交并比大于第...

【专利技术属性】
技术研发人员：胡宇涛，吴天赐，夏琨，赵音龙，陈丰生，
申请(专利权)人：海纳致远数字科技上海有限公司，
类型：发明
国别省市：