本发明专利技术公开了一种疲劳驾驶检测方法、装置、电子设备及介质，涉及智能驾驶技术领域。该方法包括：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；基于人脸图像集，获取驾驶员的面部疲劳指数；基于语音数据集，获取驾驶员的语音疲劳指数；基于面部疲劳指数和语音疲劳指数，确定驾驶员是否处于疲劳驾驶。该方法通过对驾驶员的人脸图像集和语音数据集分别进行分析，从面部疲劳指数和语音疲劳指数两个维度判断驾驶员是否处于疲劳驾驶，相比于单一维度的检测方法，能够有效地提高检测的准确性和可靠性，减少漏检和误检。少漏检和误检。少漏检和误检。
【技术实现步骤摘要】
疲劳驾驶检测方法、装置、电子设备及介质
[0001]本专利技术涉及智能驾驶
，尤其涉及一种疲劳驾驶检测方法、装置、电子设备及介质。
技术介绍
[0002]研究表明，大多数的汽车安全事故是由于司机疲劳驾驶所导致的，司机疲劳驾驶检测方法也称为了热点问题。目前，常用的疲劳驾驶检测方法主要分为两类。第一类主要是通过检测驾驶员的心电图、脑电图、眼电图等身体相关生理信息来判断驾驶员是否疲劳驾驶。第二类是通过车辆的行驶特征比如车辆的行驶速度、轮胎的行驶轨迹、方向盘的转动角度等判断是否疲劳驾驶状态。然而，上述两类检测方法都是基于一个维度的特征进行检测，准确性较低，容易出现漏检、误检等情况。
技术实现思路
[0003]为解决上述技术问题或至少部分地解决上述技术问题，本专利技术实施例提供一种疲劳驾驶检测方法、装置、电子设备及介质。
[0004]第一方面，本专利技术实施例提供了一种疲劳驾驶检测方法，包括：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；基于所述语音数据集，获取所述驾驶员的语音疲劳指数；基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
[0005]可选地，所述基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。
[0006]可选地，所述面部疲劳指数包括以下一种或多种：眼睛闭合度、眨眼频率、嘴部张合度。
[0007]可选地，所述确定所述面部疲劳指数对应的第一权重，包括：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；
[0008]所述基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和，包括：基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频率、所述嘴部张合度和所述语音疲劳指数的加权和；
[0009]所述基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态，包括：基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。
[0010]可选地，所述基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述加权和是否大于或等
于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。
[0011]可选地，所述方法还包括：在确定所述驾驶员处于疲劳驾驶的情况下，确定驾驶员的疲劳等级；输出与所述疲劳等级对应的疲劳预警信息。
[0012]可选地，所述方法还包括：在输出所述疲劳预警信息或与所述疲劳等级对应的疲劳提示信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；在所述车辆未停止行驶的情况下，输出预设的警示信息。
[0013]可选地，所述根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集，包括：确定车辆的行驶时间，根据所述行驶时间，确定采集周期以及采集时长；基于所述采集周期以及所述采集时长，采集驾驶员的人脸图像以及语音。
[0014]可选地，所述基于所述人脸图像集，获取所述驾驶员的面部疲劳指数，包括：
[0015]确定所述人脸图像集中驾驶员眼睛处于闭合状态的第一目标图像，根据所述第一目标图像的帧数与所述人脸图像集的总帧数，确定所述眼睛闭合度；
[0016]和/或
[0017]基于所述人脸图像集，确定所述驾驶员的眨眼次数；根据所述眨眼次数，确定所述眨眼频率；
[0018]和/或
[0019]确定所述人脸图像集中驾驶员嘴部轮廓处于预设状态的第二目标图像，根据所述第二目标图像的帧数与所述人脸图像集的总帧数，确定所述嘴部张合度。
[0020]可选地，所述基于所述语音数据，获取所述驾驶员的语音疲劳指数，包括：对所述语音数据集进行识别，确定所述语音数据集中属于疲劳语音的次数；根据所述语音数据集中属于疲劳语音的次数，确定所述驾驶员的语音疲劳指数。
[0021]第二方面，本专利技术实施例还提供了一种疲劳驾驶检测装置，包括：
[0022]采集模块，用于根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；
[0023]图像识别模块，用于基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；
[0024]语音识别模块，用于基于所述语音数据集，获取所述驾驶员的语音疲劳指数；
[0025]状态确定模块，用于基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。
[0026]可选地，所述状态确定模块还用于：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。
[0027]可选地，所述状态确定模块还用于：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频
率、所述嘴部张合度和所述语音疲劳指数的加权和；基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。
[0028]可选地，所述状态确定模块还用于：确定所述加权和是否大于或等于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。
[0029]可选地，所述状态确定模块还用于在确定所述驾驶员处于疲劳驾驶的情况下，确定驾驶员的疲劳等级；输出与所述疲劳等级对应的疲劳预警信息。
[0030]可选地，所述装置还包括行驶检测模块，用于：在输出所述疲劳预警信息或与所述疲劳等级对应的疲劳提示信息的情况下，检测车辆的行驶特征，确定所述车辆是否停止行驶；在所述车辆未停止行驶的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种疲劳驾驶检测方法，其特征在于，包括：根据预设的采集策略，采集驾驶员的人脸图像以及语音，获得人脸图像集以及语音数据集；基于所述人脸图像集，获取所述驾驶员的面部疲劳指数；基于所述语音数据集，获取所述驾驶员的语音疲劳指数；基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态。2.根据权利要求1所述的方法，其特征在于，所述基于所述面部疲劳指数和所述语音疲劳指数，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述面部疲劳指数对应的第一权重；确定所述语音疲劳指数对应的第二权重；基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和；基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态。3.根据权利要求2所述的方法，其特征在于，所述面部疲劳指数包括以下一种或多种：眼睛闭合度、眨眼频率、嘴部张合度。4.根据权利要求3所述的方法，其特征在于，所述确定所述面部疲劳指数对应的第一权重，包括：确定所述眼睛闭合度对应的第一面部权重、所述眨眼频率对应的第二面部权重、所述嘴部张合度对应的第三面部权重；所述基于所述第一权重和所述第二权重，计算所述面部疲劳指数和所述语音疲劳指数的加权和，包括：基于所述第一面部权重、第二面部权重、第三面部权重和所述第二权重，计算所述眼睛闭合度、所述眨眼频率、所述嘴部张合度和所述语音疲劳指数的加权和；所述基于所述加权和，确定所述驾驶员是否处于疲劳驾驶状态，包括：基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态。5.根据权利要求4所述的方法，其特征在于，所述基于所述加权和以及所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种，确定所述驾驶员是否处于疲劳驾驶状态，包括：确定所述加权和是否大于或等于第一目标阈值；在所述加权和大于或等于所述第一目标阈值的情况下，确定所述驾驶员处于疲劳驾驶；在所述加权和小于所述第一目标阈值的情况下，确定所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种是否大于或等于对应的第二目标阈值；在所述眼睛闭合度、所述眨眼频率、所述嘴部张合度中的一种大于或等于对应的第二目标阈值的情况下，确定所述驾驶员处于疲劳驾驶。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：在确定所述驾驶员处于疲劳驾驶的情...
【专利技术属性】
技术研发人员：袁昌龙，王琳，吕方惠，夏敏，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。