一种应用于大型卡车的去盲区安全驾驶系统及方法技术方案

本发明专利技术涉及一种应用于大型卡车的去盲区安全驾驶系统及方法。一种应用于大型卡车的去盲区安全驾驶系统，包括深度摄像头、PC机、两个鱼眼相机和报警模块。一种应用于大型卡车的去盲区安全驾驶方法，包括(1)、获取驾驶员的深度信息；(2)、对深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型别校正径向误差、切向误差、光心误差，然后生成球面图像；(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值；(5)、确定视点方向。

Blind blind driving system and method applied to large truck

The invention relates to a blind zone safe driving system and method applied to a large truck. A blind zone safe driving system for large trucks, including depth cameras, PC machines, two fisheye cameras and alarm modules. For a large truck to blind safe driving methods, including (1), the depth information acquisition driver; (2), the depth information for denoising by the position relations, extract the position of the driver's head two value image, calculated between the driver's head and fisheye cameras (3), distance; the data flow through real-time acquisition of video camera fisheye, the fisheye image correction model of spherical radial error, don't cut error to the error, and then generate the optical center based on spherical image; (4), to the depth of the camera detects the head moving distance in depth camera coordinate center of the world coordinate system, x, and Y Z three coordinates; (5) to determine the view direction.

【技术实现步骤摘要】
一种应用于大型卡车的去盲区安全驾驶系统及方法
本专利技术属于安全
，具体涉及一种应用于大型卡车的去盲区安全驾驶系统及方法。
技术介绍
大型卡车由于车体较长，在行驶过程中或倒车中，会出现大片区域的盲区，经常会出现事故。另一方面由于驾驶员偏离驾驶位的幅度太大而造成一些意想不到的事故。虽然目前市场上已经出现了一些应用于卡车的安全驾驶系统，但是它们都存在一些共性问题：1.大多数系统在汽车上安装固定的摄像头，人体移动的时候只能看到固定的画面，缺乏真实感；2.人体在远离或靠近摄像头时，摄像头所呈现的画面没有改变；3.当头部转动时，当转动较大时可能存在交通安全隐患，应该实时提醒；4.对人体移动来说，缺乏深度信息；从司机观察角度来说，视角比较小。
技术实现思路
专利技术目的：本专利技术针对上述现有技术存在的问题做出改进，即本专利技术的第一个目的在于公开了一种应用于大型卡车的去盲区安全驾驶系统。本专利技术的第二个目的在于公开了一种应用于大型卡车的去盲区安全驾驶方法。技术方案：一种应用于大型卡车的去盲区安全驾驶系统，包括深度摄像头、PC机、两个鱼眼相机和报警模块，所述深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，所述深度摄像头的输出端通过USB接口与所述PC机的输出端相连，所述鱼眼相机的输出端通过USB接口与所述PC机的输出端相连，所述PC机的输出端与所述报警模块的输入端相连。进一步地，所述报警模块为喇叭。一种应用于大型卡车的去盲区安全驾驶方法，包括以下步骤：(1)、获取驾驶员的深度信息；(2)、对步骤(1)得到的深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型分别校正径向误差、切向误差、光心误差，然后生成球面图像；(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值，其中：将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距；(5)、确定视点方向基于步骤(1)得到的深度信息对驾驶员的脸进行三维建模，以垂直于鱼眼相机方向的人脸方向为初始值，当人脸在三个方向上可能转动，垂直于人脸方向的矢量作为视线方向，结合步骤(4)得到的球面焦距信息实时生成不同视角大小的透视图像，根据头部平移的位置和检测人脸的方向，实时生成不同视点的大视野图像，当头部旋转角度超过阈值时，则通过报警模块发生报警信息。进一步地，步骤(1)包括以下步骤：(11)通过深度摄像头实时采集深度数据视频流；(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；(13)对所得的高斯图像与背景图像进行差分得到差分图像，(14)将差分图像进行拉伸变换得到拉伸后的差分图像；(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像；(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到驾驶员的深度信息。有益效果：本专利技术公开的一种应用于大型卡车的去盲区安全驾驶系统及方法具有以下有益效果：1、采用深度图像结合RGB图像实现实时探测驾驶员的人脸定位和旋转；2、基于人脸的旋转信息，若旋转过大即pitch，poll，Yaw即x，y，z三轴超过60度则认为旋转过大，则考虑到安全隐患问题实时报警；3.将采集两路鱼眼图像可观察到驾驶台外360度的方位，为驾驶员提供了很好的去盲区效果，实现了安全驾驶。附图说明图1为本专利技术公开的一种应用于大型卡车的去盲区安全驾驶系统的结构示意图；图2为基于人脸的相机坐标系图；图3a为人脸绕着相机坐标系的x轴旋转的示意图；图3b为人脸绕着相机坐标系的y轴旋转的示意图；图3c为人脸绕着相机坐标系的z轴旋转的示意图。具体实施方式：下面对本专利技术的具体实施方式详细说明。如图1所示，一种应用于大型卡车的去盲区安全驾驶系统，包括深度摄像头、PC机、两个鱼眼相机和报警模块，深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，深度摄像头的输出端通过USB接口与PC机的输出端相连，鱼眼相机的输出端通过USB接口与PC机的输出端相连，PC机的输出端与报警模块的输入端相连。其中：深度摄像头选取了韩国meerecompany公司的Cubeeye深度摄像头。进一步地，报警模块为喇叭。一种应用于大型卡车的去盲区安全驾驶方法，包括以下步骤：(1)、通过深度摄像头实时采集深度数据视频流，将深度图像预处理，然后通过背景差分的方法获取驾驶员的深度信息；(2)、对步骤(1)得到的深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型分别校正径向误差、切向误差、光心误差，然后生成球面图像；(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值，其中：将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距；(5)、确定视点方向基于步骤(1)得到的深度信息对驾驶员的脸进行三维建模，以垂直于鱼眼相机方向的人脸方向为初始值，当人脸在三个方向上可能转动，垂直于人脸方向的矢量作为视线方向，结合步骤(4)得到的球面焦距信息实时生成不同视角大小的透视图像，根据头部平移的位置和检测人脸的方向，实时生成不同视点的大视野图像，当头部旋转角度超过阈值时，则通过报警模块发生报警信息。进一步地，如图3所示，步骤(1)包括以下步骤：(11)通过深度摄像头实时采集深度数据视频流；(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；(13)对所得的高斯图像与背景图像进行差分得到差分图像，(14)将差分图像进行拉伸变换得到拉伸后的差分图像，即将差分图像中最大值映射到255，最小值映射到0；(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像，即大于该阈值为255小于该阈值为0；(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到前景深度信息。图2是基于人脸的相机坐标系图。图3a～3c为人脸绕着相机坐标系的x轴、y轴和z轴旋转的示意图。上面对本专利技术的实施方式做了详细说明。但是本专利技术并不限于上述实施方式，在所属
普通技术人员所具备的知识范围内，还可以在不脱离本专利技术宗旨的前提下做出各种变化。本文档来自技高网...

【技术保护点】
一种应用于大型卡车的去盲区安全驾驶系统，其特征在于，包括深度摄像头、PC机、两个鱼眼相机和报警模块，所述深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，所述深度摄像头的输出端通过USB接口与所述PC机的输出端相连，所述鱼眼相机的输出端通过USB接口与所述PC机的输出端相连，所述PC机的输出端与所述报警模块的输入端相连。

【技术特征摘要】
1.一种应用于大型卡车的去盲区安全驾驶系统，其特征在于，包括深度摄像头、PC机、两个鱼眼相机和报警模块，所述深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，所述深度摄像头的输出端通过USB接口与所述PC机的输出端相连，所述鱼眼相机的输出端通过USB接口与所述PC机的输出端相连，所述PC机的输出端与所述报警模块的输入端相连。2.根据权利要求1所述的一种应用于大型卡车的去盲区安全驾驶系统，其特征在于，所述报警模块为喇叭。3.一种应用于大型卡车的去盲区安全驾驶方法，其特征在于，包括以下步骤：(1)、获取驾驶员的深度信息；(2)、对步骤(1)得到的深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型分别校正径向误差、切向误差、光心误差，然后生成球面图像；(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值，其中：将获取头部x、y、z坐标作为球面图像...

【专利技术属性】
技术研发人员：王伟峰，邓军，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西,61