一种智能行车驾驶员疲劳预警系统技术方案

本发明专利技术公开了一种智能行车驾驶员疲劳预警系统，包括人体视频图像采集模块、人脸检测模块、眼睛和嘴巴检测模块、疲劳参数提取模块以及疲劳判断报警模块，其中，人脸检测模块与人体视频图像采集模块相连接，眼睛和嘴巴检测模块与人脸检测模块相连接，疲劳参数提取模块与眼睛和嘴巴检测模块相连接，疲劳判断报警模块与疲劳参数提取模块相连接。本发明专利技术公开的一种智能行车驾驶员疲劳预警系统，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。

An intelligent fatigue warning system for train drivers

The invention discloses an intelligent driver fatigue warning system, including the human body video image acquisition module, face detection module, eyes and mouth detection module, fatigue parameter extraction module and fatigue judgment alarm module, wherein, the face detection module and image acquisition module is connected with the body, eyes and mouth detection module and face detection module. Connection fatigue parameter extraction module and the detection module is connected with the eyes and mouth, fatigue and fatigue judgment alarm module parameter extraction module connected. An intelligent driver fatigue warning system is disclosed, which can accurately and reliably for driver fatigue driving behavior to identify, and promptly issued a warning, to provide powerful guarantee for safety driving vehicles, meet the urgent demand of the people for driving safety, improve people's quality of life, significant production practical significance.

【技术实现步骤摘要】
一种智能行车驾驶员疲劳预警系统
本专利技术涉及汽车安全辅助、深度学习，人工智能生物特征识别等
，特别是涉及一种智能行车驾驶员疲劳预警系统。
技术介绍
目前，在科技飞速发展的今天，人工智能深度学习同时在迅猛发展而且得到了广发关注，汽车驾驶正朝着智能化、安全化方向发展，作为汽车辅助驾驶的关键技术，对驾驶员的疲劳检测技术也越来越受研究人员的重视。疲劳驾驶是造成交通事故的主要因素之一。根据世界卫生组织的报告显示，每年交通事故中死亡人数进万人，直接经济损失达上百亿美元。根据交通事故统计，超过30％的公路交通事故和15％～20％的铁路交通事故与疲劳驾驶有关，疲劳驾驶严重威胁着人们的生命和财产安全，检测驾驶员是否是疲劳驾驶，并进行及时预警，将有效地减少因疲劳驾驶而造成的道路交通事故，因此，研究疲劳驾驶检测技术，对改善道路交通安全具有重大意义。但是，现有的疲劳驾驶检测方法，准确性差，无法准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，无法为驾驶员安全驾驶车辆提供有力的保障。因此，目前迫切需要开发出一种技术，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障。
技术实现思路
有鉴于此，本专利技术的目的是提供一种智能行车驾驶员疲劳预警系统，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。为此，本专利技术提供了一种智能行车驾驶员疲劳预警系统，包括：人体视频图像采集模块，用于采集驾驶员人体图像，并在执行预处理操作后，将经过预处理的所述驾驶员人体图像发送给人脸检测模块；人脸检测模块，与人体视频图像采集模块相连接，用于检测所述人体视频图像采集模块发来的所述驾驶员人体图像，获得所述驾驶员人体图像中包含的驾驶员人脸图像，然后发送给眼睛和嘴巴检测模块；眼睛和嘴巴检测模块，与人脸检测模块相连接，用于对所述人脸检测模块发来的驾驶员人脸图像进行检测，获得所述驾驶员人脸图像中包含的眼睛和嘴巴边缘轮廓图像特征，并获得所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度；疲劳参数提取模块，与眼睛和嘴巴检测模块相连接，用于根据所述眼睛和嘴巴检测模块发来的所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度，获得眼睛和嘴巴的张开度分别占预设的驾驶员标准总体眼睛大小和标准总体嘴巴大小的百分比，并将该百分比分别作为眼睛和嘴巴的疲劳参数，然后发送给疲劳判断报警模块；疲劳判断报警模块，与疲劳参数提取模块相连接，用于将疲劳参数提取模块发来的眼睛和嘴巴的疲劳参数，分别与预设眼睛闭合数值和预设嘴巴张开数值进行比较，当眼睛的疲劳参数小于预设眼睛闭合数值且持续时间超过预设眼睛报警时间值时，和/或者当嘴巴的疲劳参数大于预设嘴巴张开数值且持续时间超过预设嘴巴报警时间值时，判断驾驶员正处于疲劳驾驶状态，并实时向驾驶员发出报警提示。其中，在所述人体视频图像采集模块中，所述预处理操作为光照补偿操作。其中，所述人脸检测模块包括神经网络建立子模块、神经网络训练子模块和人脸检测识别子模块，其中：神经网络建立子模块，用于建立预设卷积神经网络，所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层、第四层隐藏层和输出层；神经网络训练子模块，与神经网络建立子模块相连接，用于预先采集多个预设标准人脸部位图像输入到所述预设卷积神经网络中，对所述预设卷积神经网络进行训练，直到使得所述预设卷积神经网络的模型收敛，完成所述预设卷积神经网络的训练；人脸检测识别子模块，分别与人体视频图像采集模块和神经网络训练子模块相连接，用于将经过所述人体视频图像采集模块预处理的所述驾驶员人体图像，输入到所述神经网络训练子模块完成训练的所述预设卷积神经网络中，获得所述驾驶员人体图像中包含的驾驶员人脸图像。其中，所述眼睛和嘴巴检测模块包括眼睛和嘴巴模型建立子模块、眼睛和嘴巴模型匹配子模块以及眼睛和嘴巴边缘轮廓提取子模块，其中：眼睛和嘴巴模型建立子模块，用于预先对多个标准的眼睛和嘴巴图像样本进行预设特征点的标注，分别建立眼睛与嘴巴的纹理和形状模型，得到Gabor局部模型，最后得到眼睛、嘴巴的反向合成AAM模型；眼睛和嘴巴模型匹配子模块，分别与眼睛和嘴巴模型建立子模块、人脸检测模块相连接，用于将所述人脸检测模块发来的驾驶员人脸图像，与所述眼睛和嘴巴模型建立子模块所建立的眼睛和嘴巴的AAM反向合成模型进行对比匹配，获得所述驾驶员人脸图像中包含的眼睛和嘴巴的区域图像；眼睛和嘴巴边缘轮廓提取子模块，与眼睛和嘴巴模型匹配子模块相连接，用于利用边缘检测Canny算子对眼睛和嘴巴模型匹配子模块得到的所述驾驶员人脸图像中包含的眼睛和嘴巴的区域图像进行精确定位，并提取其中的眼睛和嘴巴边缘轮廓图像特征，计算得出眼睛和嘴巴的张开度大小。其中，所述报警提示的方式包括显示屏显示报警提示方式和语音报警提示方式。其中，所述显示屏显示报警方式为：显示屏上显示报警提示文字且显示屏不停闪烁的方式；所述语言报警提示方式为播放预先录制的报警声音片段的方式。由以上本专利技术提供的技术方案可见，与现有技术相比较，本专利技术提供了一种智能行车驾驶员疲劳预警系统，其可以准确、可靠地对驾驶员的疲劳驾驶行为进行识别判断，从而及时发出预警提示，为驾驶员安全驾驶车辆提供有力的保障，满足人们对安全驾驶的迫切要求，提高人们的生活品质，具有重大的生产实践意义。附图说明图1为本专利技术提供的一种智能行车驾驶员疲劳预警系统的结构方框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和实施方式对本专利技术作进一步的详细说明。图1为本专利技术提供的一种智能行车驾驶员疲劳预警系统的结构方框图。参见图1，本专利技术提供的一种智能行车驾驶员疲劳预警系统，包括包括人体视频图像采集模块100、人脸检测模块200、眼睛和嘴巴检测模块300、疲劳参数提取模块400以及疲劳判断报警模块500，其中：人体视频图像采集模块100，用于采集驾驶员人体图像，并在执行预处理操作后，将经过预处理的所述驾驶员人体图像发送给人脸检测模块200；人脸检测模块200，其作为深度学习的系统模块，与人体视频图像采集模块100相连接，用于检测所述人体视频图像采集模块100发来的所述驾驶员人体图像，获得所述驾驶员人体图像中包含的驾驶员人脸图像，然后发送给眼睛和嘴巴检测模块300；因此，人脸检测模块200可以为后面眼睛和嘴巴检测模块300进行的眼睛和嘴巴检测提前进行粗定位。眼睛和嘴巴检测模块300，与人脸检测模块200相连接，用于对所述人脸检测模块200发来的驾驶员人脸图像进行检测，获得所述驾驶员人脸图像中包含的眼睛和嘴巴边缘轮廓图像特征，并获得所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度；该眼睛和嘴巴检测模块300具体可以基于改进的AAM算法(反向合成算法)对驾驶员的眼睛和嘴巴进行定位与跟踪，以获取眼睛和嘴巴的区域；并利用边缘检测(Canny)算子对两个区域进行精确定位，获取对应眼睛和嘴巴边缘轮廓图像特征。疲劳参数提取模块400，与眼睛和嘴巴检测模块300相连接，用于根据所述眼睛和嘴巴检测模块300发来的所述本文档来自技高网...

【技术保护点】
一种智能行车驾驶员疲劳预警系统，其特征在于，包括：人体视频图像采集模块，用于采集驾驶员人体图像，并在执行预处理操作后，将经过预处理的所述驾驶员人体图像发送给人脸检测模块；人脸检测模块，与人体视频图像采集模块相连接，用于检测所述人体视频图像采集模块发来的所述驾驶员人体图像，获得所述驾驶员人体图像中包含的驾驶员人脸图像，然后发送给眼睛和嘴巴检测模块；眼睛和嘴巴检测模块，与人脸检测模块相连接，用于对所述人脸检测模块发来的驾驶员人脸图像进行检测，获得所述驾驶员人脸图像中包含的眼睛和嘴巴边缘轮廓图像特征，并获得所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度；疲劳参数提取模块，与眼睛和嘴巴检测模块相连接，用于根据所述眼睛和嘴巴检测模块发来的所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度，获得眼睛和嘴巴的张开度分别占预设的驾驶员标准总体眼睛大小和标准总体嘴巴大小的百分比，并将该百分比分别作为眼睛和嘴巴的疲劳参数，然后发送给疲劳判断报警模块；疲劳判断报警模块，与疲劳参数提取模块相连接，用于将疲劳参数提取模块发来的眼睛和嘴巴的疲劳参数，分别与预设眼睛闭合数值和预设嘴巴张开数值进行比较，当眼睛的疲劳参数小于预设眼睛闭合数值且持续时间超过预设眼睛报警时间值时，和/或者当嘴巴的疲劳参数大于预设嘴巴张开数值且持续时间超过预设嘴巴报警时间值时，判断驾驶员正处于疲劳驾驶状态，并实时向驾驶员发出报警提示。...

【技术特征摘要】
1.一种智能行车驾驶员疲劳预警系统，其特征在于，包括：人体视频图像采集模块，用于采集驾驶员人体图像，并在执行预处理操作后，将经过预处理的所述驾驶员人体图像发送给人脸检测模块；人脸检测模块，与人体视频图像采集模块相连接，用于检测所述人体视频图像采集模块发来的所述驾驶员人体图像，获得所述驾驶员人体图像中包含的驾驶员人脸图像，然后发送给眼睛和嘴巴检测模块；眼睛和嘴巴检测模块，与人脸检测模块相连接，用于对所述人脸检测模块发来的驾驶员人脸图像进行检测，获得所述驾驶员人脸图像中包含的眼睛和嘴巴边缘轮廓图像特征，并获得所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度；疲劳参数提取模块，与眼睛和嘴巴检测模块相连接，用于根据所述眼睛和嘴巴检测模块发来的所述驾驶员人脸图像中包含的眼睛和嘴巴的张开度，获得眼睛和嘴巴的张开度分别占预设的驾驶员标准总体眼睛大小和标准总体嘴巴大小的百分比，并将该百分比分别作为眼睛和嘴巴的疲劳参数，然后发送给疲劳判断报警模块；疲劳判断报警模块，与疲劳参数提取模块相连接，用于将疲劳参数提取模块发来的眼睛和嘴巴的疲劳参数，分别与预设眼睛闭合数值和预设嘴巴张开数值进行比较，当眼睛的疲劳参数小于预设眼睛闭合数值且持续时间超过预设眼睛报警时间值时，和/或者当嘴巴的疲劳参数大于预设嘴巴张开数值且持续时间超过预设嘴巴报警时间值时，判断驾驶员正处于疲劳驾驶状态，并实时向驾驶员发出报警提示。2.如权利要求1所述的智能行车驾驶员疲劳预警系统，其特征在于，在所述人体视频图像采集模块中，所述预处理操作为光照补偿操作。3.如权利要求1所述的智能行车驾驶员疲劳预警系统，其特征在于，所述人脸检测模块包括神经网络建立子模块、神经网络训练子模块和人脸检测识别子模块，其中：神经网络建立子模块，用于建立预设卷积神经网络，所述预设卷积神经网络包括依次对所输入的图像进行处理的输入层、第一层隐藏层、第二层隐藏层、第三层隐藏层、第四层隐藏层和输出层；神经网络训练子模块...

【专利技术属性】
技术研发人员：孙哲南，曹冬，李琦，谭铁牛，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：天津,12