一种三目后视镜和三目视觉安全驾驶方法和系统技术方案

本发明专利技术公开了一种三目后视镜和三目视觉安全驾驶方法和系统，基于单目摄像头采集的图像检测驾驶员疲劳状态，结合驾驶员行为分析，检测驾驶员是否专心驾驶，规避驾驶员不好的习惯带来的风险。基于双目摄像头采集的图像信息来检测与前方车辆的安全距离、其他车辆的行驶方向、车速以及行人、前车测距、交通标志、红绿灯、十字路口等道路环境的分析处理，以便在危险情况时提醒驾驶员，规避行车风险。

A Safe Driving Method and System with Tri-eye Rearview Mirror and Tri-eye Vision

【技术实现步骤摘要】
一种三目后视镜和三目视觉安全驾驶方法和系统
本专利技术涉及计算机视觉
，更具体的说是涉及一种三目后视镜和三目视觉安全驾驶方法和系统。
技术介绍
汽车无疑是一件伟大的专利技术，它为人们的生活带来了便捷。随着国家经济的不断发展和人民生活水平的不断提高，汽车保有量呈现迅猛增速。一些司机朋友驾驶习惯不好，容易为自己和他人带来安全隐患。目前，大多数司机都会在汽车上安装行车记录仪，但是行车记录仪只能提供基本的影像信息，大部分司机在开车时，不会过多的关注到行车记录仪上的影像，无法规避风险。因此，如何提供一种能够规避风险的安全驾驶方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种三目后视镜和三目视觉安全驾驶方法和系统，能够有效规避风险，实现安全驾驶。为了实现上述目的，本专利技术采用如下技术方案：一种三目后视镜，包括：后视镜主体和控制器；所述后视镜主体的一侧连接有支架；所述支架两侧且位于所述后视镜主体上各安装有一个摄像头，组成双目摄像头；所述后视镜主体的另一侧安装有一个摄像头，且三个摄像头均与所述控制器电连接。优选的，还包括：语音播报模块，所述语音播报模块与所述控制器电连接。一种三目视觉安全驾驶方法，包括：单目检测部分和双目检测部分；其中双目检测部分基于所述支架两侧且位于所述后视镜主体上安装的摄像头采集的双目图像信息进行的；单目检测部分基于后视镜主体另一侧安装的摄像头采集的单目图像信息进行的；S1:单目检测部分：S11:基于卷积神经网络对单目图像信息中的眼睛状态信息进行二分类操作，并判断是否为疲劳驾驶；S12:基于卷积神经网络对单目图像信息进行特征提取，得到人体骨骼节点在图像中的位置，通过节点相对位置的不同判定司机的行为动作是否影响安全驾驶；S2:双目检测部分：S21:对双目图像信息进行双目标定和畸变校正，得到左右畸变校正图像；S22:将左右畸变校正图像输入到三维重建模型中进行三维重建，得到三维重建结果；S23:将所述左右畸变校正图像输入到语义分割模型中，得到分割图像和分割识别信息；S24:将所述左右畸变校正图像输入到车道线分割模型中，得到车道线坐标。优选的，步骤S21中畸变校正的具体步骤包括：对预处理后的图像信息进行双目标定，得到畸变参数和内外参数矩阵；基于畸变参数和内外参数矩阵对双目标定后的图像进行畸变校正，得到左右畸变校正图像；相应的，步骤S22具体包括：基于BM方法对左右畸变校正图像进行立体匹配，得到视差图和三维坐标；基于视差图和三维坐标进行三维投影，得到三维重建结果。优选的，步骤S23具体包括：对左右畸变校正图像进行三通道直方图均衡化和去噪处理；将处理后的图像输入到预先训练好的神经网络中，并基于上色规则得到分割图像和分割识别信息。优选的，预先训练好的神经网络采用Enet网络结构，其中，Enet网络的bottleneck层中激活函数采用LeakyReLU结构，去掉了所有1×1大小的卷积，残差结构中所有卷积计算全部采用分解卷积核。优选的，步骤S24具体包括：将所述左右畸变校正图像进行滤波去噪处理，得到去噪畸变校正图像；对去噪畸变校正图像进行边缘检测，得到边缘检测结果；对边缘检测结果进行范围框定和霍夫变换，得到车道线坐标。优选的，还包括：步骤S13：对影响安全驾驶的行为动作进行语音提醒。优选的，步骤S1中还包括：基于单目图像信息判断驾驶员是否为车主或允许的人员。一种三目视觉安全驾驶系统，包括：单目检测模块，用于基于卷积神经网络对单目图像信息中的眼睛状态信息进行二分类操作，并判断是否为疲劳驾驶；行为判断模块，用于基于卷积神经网络对单目图像信息进行特征提取，得到人体骨骼节点在图像中的位置，通过节点相对位置的不同判定司机的行为动作是否影响安全驾驶；畸变校正模块，用于对双目图像信息进行双目标定和畸变校正，得到左右畸变校正图像；三维重建模块，用于将左右畸变校正图像输入到三维重建模型中进行三维重建，得到三维重建结果；语义分割模块，用于将所述左右畸变校正图像输入到语义分割模型中，得到分割图像和分割识别信息；车道线检测模块，用于将所述左右畸变校正图像输入到车道线分割模型中，得到车道线坐标。经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种三目后视镜和三目视觉安全驾驶方法和系统，通过摄像头采集单目图像和双目图像，基于单目摄像头采集的图像检测驾驶员疲劳状态，结合驾驶员行为分析，检测驾驶员是否专心驾驶，规避驾驶员不好的习惯带来的风险。基于双目摄像头采集的图像信息来检测与前方车辆的安全距离、其他车辆的行驶方向、车速以及行人、前车测距、交通标志、红绿灯、十字路口等道路环境的分析处理，以便在危险情况时提醒驾驶员，规避行车风险。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术提供的三目后视镜结构示意图一；图2为本专利技术提供的三目后视镜结构示意图二；图3为本专利技术提供的三目后视镜结构示意图三；图4为本专利技术提供的三目视觉安全驾驶方法的流程图；图5为本专利技术提供的畸变校正和三维重建的方法流程图；图6为本专利技术提供的标定的具体方法流程图；图7为本专利技术提供的车道检测线检测方法流程图；图8为本专利技术提供的坐标系转换方法示意图；图9为本专利技术提供的语义分割方法的流程图；图10为本专利技术提供的残差结构图的示意图；图11为本专利技术提供的现有的神经网络bottleneck层的结构和处理流程；图12为本专利技术改进的神经网络bottleneck层的结构和处理流程。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。参见附图1和2，本专利技术实施例公开了一种三目后视镜，包括：后视镜主体1和控制器3；所述后视镜主体1的一侧连接有支架4；所述支架4两侧且位于所述后视镜主体1上各安装有一个摄像头2，组成双目摄像头；所述后视镜主体1的另一侧安装有一个摄像头2，且三个摄像头2均与所述控制器3电连接。各个摄像头2均通过数据线7与控制器3电连接。其中，还需要说明的是。设置有镜面6的一侧设置1个摄像头，靠近挡风玻璃的一侧设置2个摄像头。参见附图3，还包括：语音播报模块5，所述语音播报模块5与所述控制器3电连接。三个摄像头分别通过数据线与控制器，如：嵌入式开发平台相连，通过分析采集到图像来驱动语音播报模块来警告司机安全驾驶。如下述的可以通过三个摄像头采集的图像进行三维重建，之后进行语义分割和测距等计算，从而判断司机是否安全驾驶。此外，本专利技术实施例还公开了一种三目视觉安全驾驶方法，具体请参见附图4，包括：单目检测部分和双目检测部分；其中双目检测部分基于所述支架两侧且位于所述后视镜主体上安装的摄像头采集的双目图像信息进行的；单目检测部分基于后视镜主体另一侧安装的摄像头采集的单目图像信息进行的；S1:单目检测部分：S11:基于卷积神经网本文档来自技高网...

【技术保护点】
1.一种三目后视镜，其特征在于，包括：后视镜主体和控制器；所述后视镜主体的一侧连接有支架；所述支架两侧且位于所述后视镜主体上各安装有一个摄像头，组成双目摄像头；所述后视镜主体的另一侧安装有一个摄像头，且三个摄像头均与所述控制器电连接。

【技术特征摘要】
2019.06.04 CN 20191048228981.一种三目后视镜，其特征在于，包括：后视镜主体和控制器；所述后视镜主体的一侧连接有支架；所述支架两侧且位于所述后视镜主体上各安装有一个摄像头，组成双目摄像头；所述后视镜主体的另一侧安装有一个摄像头，且三个摄像头均与所述控制器电连接。2.根据权利要求1所述的三目后视镜，其特征在于，还包括：语音播报模块，所述语音播报模块与所述控制器电连接。3.一种三目视觉安全驾驶方法，其特征在于，包括：单目检测部分和双目检测部分；其中双目检测部分基于所述支架两侧且位于所述后视镜主体上安装的摄像头采集的双目图像信息进行的；单目检测部分基于后视镜主体另一侧安装的摄像头采集的单目图像信息进行的；S1:单目检测部分：S11:基于卷积神经网络对单目图像信息中的眼睛状态信息进行二分类操作，并判断是否为疲劳驾驶；S12:基于卷积神经网络对单目图像信息进行特征提取，得到人体骨骼节点在图像中的位置，通过节点相对位置的不同判定司机的行为动作是否影响安全驾驶；S2:双目检测部分：S21:对双目图像信息进行双目标定和畸变校正，得到左右畸变校正图像；S22:将左右畸变校正图像输入到三维重建模型中进行三维重建，得到三维重建结果；S23:将所述左右畸变校正图像输入到语义分割模型中，得到分割图像和分割识别信息；S24:将所述左右畸变校正图像输入到车道线分割模型中，得到车道线坐标。4.根据权利要求3所述的一种三目视觉安全驾驶方法，其特征在于，步骤S21中畸变校正的具体步骤包括：对预处理后的图像信息进行双目标定，得到畸变参数和内外参数矩阵；基于畸变参数和内外参数矩阵对双目标定后的图像进行畸变校正，得到左右畸变校正图像；相应的，步骤S22具体包括：基于BM方法对左右畸变校正图像进行立体匹配，得到视差图和三维坐标；基于视差图和三维坐标进行三维投影，得到...

【专利技术属性】
技术研发人员：柴锐，秦品乐，曾建潮，穆旭彤，王天锐，雷国栋，王嘉政，
申请(专利权)人：中北大学，
类型：发明
国别省市：山西,14