基于双目摄像头的安全作业智能监控系统及方法技术方案

本发明专利技术公开了基于双目摄像头的安全作业智能监控系统及方法，处理器对左右摄像头拍摄的左右图像数据进行滤波、ROI区域提取、深度计算，获取深度图像；对深度图像进行识别，获取眼睛和嘴巴图像区域；对该图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，判断眼睛最大距离是否小于阈值T1、嘴巴最大距离是否大于阈值T2，若是，则判断眼睛闭合、嘴巴张开的时间是否达到报警阈值，若达到，则向车载中控台发送报警指令，车载中控台控制振动反馈装置实现对驾驶员的提醒。本发明专利技术对眼睛、嘴巴运动状态的检测精度高，通过振动反馈装置实现振动提醒，从本质上制止疲劳驾驶带来的交通事故。

【技术实现步骤摘要】
基于双目摄像头的安全作业智能监控系统及方法
本专利技术涉及图像处理、模式识和自动化
，尤其涉及基于双目摄像头的安全作业智能监控系统及方法。
技术介绍
疲劳驾驶是导致高交通事故中比较重要的因素，因而如何高效、准确、快速的检测驾驶员是否在疲劳驾驶，并在已知疲劳驾驶的情况下如何防止，就显得尤为重要。目前检测疲劳驾驶的技术手段主要是通过机器视觉的方式，主要检测眼睛或嘴巴的运动状态(是否闭合、张开等状态)，通过某种状态机判断当前是否是疲劳驾驶状态；由于受驾驶舱环境光照等复杂多变的因素影响，导致检测眼睛或嘴巴的位置定位不够准确，结果会导致估计眼睛或嘴巴的运动状态不够精确，导致无检测概率比较大，而且对检测到的疲劳驾驶状态都是通过语音进行报警，这样从本质上没有制止疲劳驾驶带来的交通事故。
技术实现思路
针对上述问题中存在的不足之处，本专利技术提供一种基于双目摄像头的安全作业智能监控系统及方法。为实现上述目的，本专利技术的第一目的在于提供一种基于双目摄像头的安全作业智能监控系统，包括：设置在驾驶员前方的智能设备、车载中控台和安装在驾驶员座椅上的振动反馈装置；所述智能设备包括：左摄像头，用于拍摄包含眼睛和嘴巴的左图像数据；右摄像头，用于拍摄包含眼睛和嘴巴的右图像数据；处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。作为本专利技术的进一步改进，所述处理器包括：滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。作为本专利技术的进一步改进，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。作为本专利技术的进一步改进，所述智能设备安装在驾驶员前方的仪表盘上。作为本专利技术的进一步改进，所述车载中控台与处理器、振动反馈装置的数据传输形式均采用蓝牙传输。本专利技术的第二目的在于提供一种基于双目摄像头的安全作业智能监控方法，包括：步骤1、输入双目摄像头采集的左图像数据和右图像数据；步骤2、对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；步骤3、对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；步骤4、利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；步骤5、将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；步骤6、对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；步骤7、对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；步骤8、根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线；步骤9、计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；步骤10、判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开，跳至步骤11；步骤11、判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；步骤12、车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。作为本专利技术的进一步改进，在步骤5中，所述识别模型的建立方法为：步骤51、采集大样本数据；步骤52、依据步骤1-4，获取每个样本ROI区域的深度图像；步骤53、通过半监督随机森林学习法，人工对大样本ROI深度图像中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合。作为本专利技术的进一步改进，在步骤53中，半监督随机森林的参数设计为：树的个数：200，二叉树的深度：100，每层树的最佳分割候选点个数：4，预测精度：0.001。作为本专利技术的进一步改进，在步骤11中，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。作为本专利技术的进一步改进，所述预设时间A为300s，报警阈值A1为30s，报警阈值A2为150s，报警阈值A3为200s。与现有技术相比，本专利技术的有益效果为：本专利技术提供基于双目摄像头的安全作业智能监控系统及方法，通过将计算得到的眼睛、嘴巴关键距离与各自设定的阈值进行比较来判断眼睛、嘴巴的闭合/张开状态，若眼睛闭合、嘴巴张开则表明驾驶员处于疲劳状态；并进一步在预设时间内，通过检测眼睛闭合、嘴巴张开的时间来判断驾驶员是否处于疲劳驾驶，当处于疲本文档来自技高网...

【技术保护点】
一种基于双目摄像头的安全作业智能监控系统，其特征在于，包括：设置在驾驶员前方的智能设备、车载中控台和安装在驾驶员座椅上的振动反馈装置；所述智能设备包括：左摄像头，用于拍摄包含眼睛和嘴巴的左图像数据；右摄像头，用于拍摄包含眼睛和嘴巴的右图像数据；处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。

【技术特征摘要】
1.一种基于双目摄像头的安全作业智能监控系统，其特征在于，包括：设置在驾驶员前方的智能设备、车载中控台和安装在驾驶员座椅上的振动反馈装置；所述智能设备包括：左摄像头，用于拍摄包含眼睛和嘴巴的左图像数据；右摄像头，用于拍摄包含眼睛和嘴巴的右图像数据；处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。2.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述处理器包括：滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。3.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。4.如权利要求1所述的基于双目摄像头的安全作业智能监控系统，其特征在于，所述智能...

【专利技术属性】
技术研发人员：武立辉，
申请(专利权)人：华迅金安北京科技有限公司，
类型：发明
国别省市：北京,11