防止疲劳驾驶的智能系统及方法技术方案

本发明专利技术公开了防止疲劳驾驶的智能系统及方法，包括：N个左右红外LED灯，投影在左右眼球上，作为后续检测的特征点；带有眼球追踪传感器的左右摄像头，追踪左右眼球并拍摄左右图像数据；处理器，对左右图像数据进行滤波、ROI区域提取、特征点检测，在预设时间内，当左右图像特征点数目少于N/2的时间达到报警阈值，则向车载中控台发送报警指令，车载中控台控制座椅上的振动反馈装置，实现对驾驶员的振动提醒。本发明专利技术根据特征点的个数来判断眼睛的闭合/张开状态，根据眼睛处于闭合状态的时间来判断疲劳驾驶；本发明专利技术对眼睛运动状态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。

【技术实现步骤摘要】
防止疲劳驾驶的智能系统及方法
本专利技术涉及图像处理、模式识和自动化
，尤其涉及防止疲劳驾驶的智能系统及方法。
技术介绍
疲劳驾驶是导致高交通事故中比较重要的因素，因而如何高效、准确、快速的检测驾驶员是否在疲劳驾驶，并在已知疲劳驾驶的情况下如何防止，就显得尤为重要。目前检测疲劳驾驶的技术手段主要是通过机器视觉的方式，主要检测眼睛或嘴巴的运动状态(是否闭合、张开等状态)，通过某种状态机判断当前是否是疲劳驾驶状态；由于受驾驶舱环境光照等复杂多变的因素影响，导致检测眼睛或嘴巴的位置定位不够准确，结果会导致估计眼睛或嘴巴的运动状态不够精确，导致无检测概率比较大，而且对检测到的疲劳驾驶状态都是通过语音进行报警，这样从本质上没有制止疲劳驾驶带来的交通事故。
技术实现思路
针对上述问题中存在的不足之处，本专利技术提供一种通过眼球跟踪技术检测是否疲劳驾驶，并对疲劳驾驶者进行提醒的智能系统及方法。为实现上述目的，本专利技术的第一目的在于提供一种防止疲劳驾驶的智能系统，包括：供驾驶员佩戴的智能眼镜、车载中控台和安装在驾驶员座椅上的振动反馈装置；所述智能眼镜包括：N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。作为本专利技术的进一步改进，N个左红外LED灯均布在智能眼镜左镜框的边框上，所述左镜框上对应安装有左摄像头；N个右红外LED灯均布在智能眼镜右镜框的边框上，所述右镜框上对应安装有右摄像头。作为本专利技术的进一步改进，所述处理器包括：第一滤波降噪模块，用于对左右图像数据进行双边滤波处理；ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；特征点检测模块，用于采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；第一判断模块，用于判断在预设时间A内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。作为本专利技术的进一步改进，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。作为本专利技术的进一步改进，所述智能眼镜还包括：IMU；所述IMU包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测智能眼镜姿态数据；处理器对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。作为本专利技术的进一步改进，所述处理器还包括：第二滤波降噪模块，用于对智能眼镜姿态数据进行卡尔曼滤波处理；第二判断模块，用于对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动。作为本专利技术的进一步改进，还包括：设置在驾驶室内的语音播报装置；所述语音播报装置与所述车载中控台相连，当车载中控台接收到报警指令时，车载中控台控制语音播报装置进行语音提醒。作为本专利技术的进一步改进，所述车载中控台与处理器、振动反馈装置和语音播报装置的数据传输形式均采用蓝牙传输。本专利技术第二目的在于提供一种防止疲劳驾驶的智能方法，包括：步骤1、输入摄像头采集的左图像数据、右图像数据及IMU采集的智能眼镜姿态数据；步骤2、对左右图像数据进行双边滤波处理；步骤3、对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；步骤4、采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；步骤5、在预设时间A内，判断左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值A1、A2、A3，0＜A1＜A2＜A3＜A；若达到，则向车载中控台发送报警指令；其中：a、当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；b、当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；c、当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动；步骤6、对步骤1采集的智能眼镜姿态数据进行卡尔曼滤波处理；步骤7、对滤波处理的姿态数据进行姿态判断，判断智能眼镜的姿态在预设时间B内是否发生变化，若没有发生变化，则向车载中控台发送振动模式1的报警指令；步骤8、车载中控台接收步骤5和步骤7的报警指令，控制振动反馈装置振动和/或语音播报装置语音播放，实现对驾驶员的提醒。作为本专利技术的进一步改进，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s，预设时间B为300s。与现有技术相比，本专利技术的有益效果为：本专利技术提供防止疲劳驾驶的智能系统及方法，通过左右摄像头采集左右图像数据，处理器对左右图像数据进行滤波、ROI区域提取、特征点检测，根据特征点的个数来判断眼睛的闭合/张开状态，并在预设时间内，当眼睛处于闭合状态的时间达到报警阈值时，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；本专利技术通过IMU检测智能眼镜姿态数据，从而得到驾驶员的头部的运动姿态；当智能眼镜的姿态在一定时间内没有发生变化，可判断出该驾驶员处于疲劳驾驶，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒；本专利技术对眼睛运动状态、头部的运动姿态的检测精度高，通过振动反馈装置实现振动提醒，从而从本质上制止疲劳驾驶带来的交通事故。附图说明图1为本专利技术一种实施例公开的防止疲劳驾驶的智能系统的框架图；图2为图1中智能眼镜的示意图；图3为图1中处理器的框架图；图4为本专利技术一种实施例公开的防止疲劳驾驶的智能系统的实现方法流程图；图5为本专利技术一种实施例公开的特征点在投射在眼睛上的示意图。图中：10、智能眼镜；11、左红外LED灯；12、右红外LED灯；13、左摄像头；14、右摄像头；15、IMU；16、处理器；20、车载中控台；30、振动反馈装置；40、语音播报装置。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施本文档来自技高网...

【技术保护点】
一种防止疲劳驾驶的智能系统，其特征在于，包括：供驾驶员佩戴的智能眼镜、车载中控台和安装在驾驶员座椅上的振动反馈装置；所述智能眼镜包括：N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。

【技术特征摘要】
1.一种防止疲劳驾驶的智能系统，其特征在于，包括：供驾驶员佩戴的智能眼镜、车载中控台和安装在驾驶员座椅上的振动反馈装置；所述智能眼镜包括：N个左红外LED灯和N个右红外LED灯，用于投影在左眼球和右眼球上，作为后续检测的特征点；其中，N≥7；带有眼球追踪传感器的左摄像头和右摄像头，用于追踪左眼球和右眼球并拍摄左图像数据和右图像数据；处理器，用于对左右图像数据进行滤波、ROI区域提取、特征点检测，并判断预设时间A内，左右图像特征点数目少于N/2的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒。2.如权利要求1所述的防止疲劳驾驶的智能系统，其特征在于：N个左红外LED灯均布在智能眼镜左镜框的边框上，所述左镜框上对应安装有左摄像头；N个右红外LED灯均布在智能眼镜右镜框的边框上，所述右镜框上对应安装有右摄像头。3.如权利要求1所述的防止疲劳驾驶的智能系统，其特征在于，所述处理器包括：第一滤波降噪模块，用于对左右图像数据进行双边滤波处理；ROI区域提取模块，用于对滤波处理后的左右图像数据，提取包含左眼信息的左ROI区域和包含右眼信息的右ROI区域；特征点检测模块，用于采用ORB检测算法对左右ROI区域进行特征点检测，记录左右ROI区域上检测到的特征点个数；第一判断模块，用于判断在预设时间A内，左右ROI区域上特征点数目少于N/2的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令。4.如权利要求1所述的防止疲劳驾驶的智能系统，其特征在于，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；当左右图像特征点数目少于N/2的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；当左右图像特征点数目少于N/2的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；当左右图像特征点数目少于N/2的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。5.如权利要求1所述的防止疲劳驾驶的智能系统，其特征在于，所述智能眼镜还包括：IMU；所述IMU包括加速度传感器、陀螺仪传感器和地磁传感器，用于检测智能眼镜姿态数据；处理器对智能眼镜姿态数据进行滤波，并判断智能眼镜的姿态在预设时间B内是否发生变化；若没有发生变化，则向车载中控台发送报警指令，车载中控台控制振动反馈装置振动，实现对驾驶员的振动提醒...

【专利技术属性】
技术研发人员：武立辉，
申请(专利权)人：华迅金安北京科技有限公司，
类型：发明
国别省市：北京,11