一种载重货车右转弯安全预警系统及方法技术方案

本发明专利技术公开了一种基于鱼眼视觉的载重货车右转弯安全预警系统及方法。所述系统包括鱼眼摄像头、超声波传感器、信号处理单元、中央控制中心、液晶显示屏、油门控制器。所述方法主要步骤为：当启动右转信号时，启动鱼眼摄像头和超声波传感器进行载重货车右转弯盲区信息采集。通过圆盘标定板进行鱼眼摄像头的标定，校正畸变的图像。通过HOG+SVM算法进行载重货车右转弯盲区行人检测，然后利用基于颜色特征统计和HOG特征表示的相关滤波融合算法进行载重货车右转弯盲区行人实时跟踪。根据超声波传感器测量的人车横向距离，控制载重货车转弯车速，防止驾驶员误操作。

A safety warning system and method for heavy truck's right turn

The invention discloses a safety warning system and method for a truck turning right on the basis of fisheye vision. The system comprises a fisheye camera, an ultrasonic sensor, a signal processing unit, a central control center, a liquid crystal display screen and an accelerator controller. The main steps of the method are as follows: when the right turn signal is started, the fisheye camera and the ultrasonic sensor are started to carry out the information collection of the right turn blind area of the truck. The fish eye camera is calibrated through the disc calibration board to correct the distorted image. The pedestrian detection in the blind area of heavy truck is carried out by HOG+SVM algorithm, and then the pedestrian real-time tracking in the right turn blind area of truck is carried out by using the correlation filtering fusion algorithm based on the color feature statistics and the HOG feature representation. According to the lateral distance measured by the ultrasonic sensor, the steering speed of the truck is controlled to prevent the driver from misoperation.

【技术实现步骤摘要】
一种载重货车右转弯安全预警系统及方法
本专利技术涉及车辆驾驶安全
，尤其涉及载重货车右转弯安全预警系统及方法。
技术介绍
近年来，由于经济发展和工业运输的需要，我国载重货车的保有量不断增加。载重货车因为其“大、长、高”的特点使其存在许多视觉盲区，相应的导致了车辆事故不断发生。特别是“死亡弯月”事故，即当载重货车右转弯时，因为内轮差和右后视镜盲区的存在，驾驶员不能注意到载重货车右侧车身周围是否存在行人，从而导致事故的发生。专利公开号CN104401254A的中国专利公开了货车转弯时死亡区域人体感应系统，涉及一种红外线感应系统。该系统包括多个红外线感应器，分布于货车的两侧，分别连接货车的转向、鸣笛和刹车装置。货车转弯时由于内轮差存在大约2米的死亡区域，司机无法通过后视镜观测到，而红外线感应器的感应范围之和覆盖矩形死亡区域，当货车转弯感应系统感应到人体时，红外线感应器会向鸣笛和刹车装置发出信号，通过鸣笛和刹车避免事故发生。虽然该专利能有效检测到死亡区域行人，但该系统信号采集比较单一，若红外感应器偶然发生故障，系统将不能正常工作。专利公开号CN104477094A的中国专利公开了一种挂车转弯安全预警系统，属于交通安全监控领域。该系统包括车身，驾驶室，转向灯控制开关，行人移动手机终端，驾驶员移动手机终端，设置在车身两侧的信息采集装置和警示装置，以及设置在驾驶室内的报警装置和中央处理器。该系统采用两路获取信号来预警驾驶员和行人，一路信号是：通过信息采集装置采集路况信息并传入中央处理器，经中央处理器进行转换和逻辑运算后，输出控制信号给警示装置和报警装置。另一路信号是：行人移动手机终端和驾驶员移动手机终端将位置信息通信连接至中央处理器，经中央处理器进行运算处理，输出触发驾驶员和处于危险距离的行人的移动手机终端报警信号。同时该系统采用毫米波雷达和广角摄像头作为信息采集装置、LED软光带作为警示装置、蜂鸣器作为报警装置。虽然该系统克服了信号采集单一的缺点，能保障系统的可靠性，但该系统设备过多，信号处理实时性较差，且通过手机终端进行报警。若司机与行人没有携带移动终端，报警将会失效。
技术实现思路
本专利技术的一个目的是提供一种载重货车右转弯安全预警系统。它能有效地解决载重货车右转盲区是否有障碍的视觉的观察问题。本专利技术的另一个目的是提供一种载重货车右转弯安全预警方法。它能有效地解决载重货车右转盲区有障碍的预警问题。本专利技术的目的是通过以下技术方案来实现的：一种载重货车右转弯安全预警系统，包括鱼眼摄像头、超声波传感器、信号处理单元、中央控制中心、液晶显示屏、油门控制器；驾驶台设有液晶显示屏，货车驾驶室后厢背部设有鱼眼摄像头，货车车厢右侧设有一个以上的超声波传感器，驾驶室内部设有信号处理单元和中央控制中心；鱼眼摄像头的输出端和超声波传感器输出端连接信号处理单元的输入端，信号处理单元的输出端连接中央控制中心的输入端和液晶显示屏的输入端，中央控制中心的输出端连接鱼眼摄像头的输入端、超声波传感器的输入端和油门控制器的输入端。所述鱼眼摄像头设置于货车驾驶室后厢背部，所述超声波传感器有多个，分别位于货车车厢右侧的位置，所述信号处理单元设置于驾驶室内部，所述中央控制中心设置于驾驶室驾驶台内部，所述液晶显示屏设置于驾驶室驾驶台；本专利技术的另一个目的是通过以下技术方案来实现的：一种载重货车右转弯安全预警方法，其包括如下步骤：步骤一、载重货车右转弯盲区信息采集：载重货车的中央控制中心检测到右转信号后，启动货车驾驶室后厢背部的鱼眼摄像头，获取实时右转弯盲区视频，同时启动载重货车车厢右侧的超声波传感器，获取距离信息；步骤二、利用圆盘标定板对鱼眼摄像头进行标定：因为鱼眼镜头拍摄出来的照片与圆盘近似，采用一种利用圆盘标定板提供精确的点线特征来完成鱼眼摄像头的标定，通过标定获取鱼眼摄像头的内外参数以及畸变系数；步骤三、鱼眼畸变图像的校正：利用鱼眼图像函数校正法中的模板法对畸变图像进行校正，并用三次卷积法对校正后的图像进行填充，为右转弯盲区中行人的检测及跟踪做准备工作；步骤四、载重货车右转弯盲区行人检测及跟踪：校正畸变图像以后，在信号处理单元内进行行人的检测以及跟踪处理，选取校正后的第一帧图像进行载重货车右转弯盲区行人检测；采用方向梯度直方图HOG的特征表示加上支持向量机SVM的分类器算法进行行人检测；检测到盲区行人后，提取第一帧的跟踪框位置信息，采用基于颜色特征和HOG特征表示的相关滤波融合算法进行盲区行人跟踪；步骤五、载重货车右转弯车速控制：载重货车右转弯盲区行人信息实时的显示在液晶显示屏上可以帮助驾驶员了解盲区信息，但为了防止驾驶员误踩油门，采用一种基于人车横向距离的载重货车右转弯车速控制方案，在鱼眼摄像头检测跟踪盲区行人同时，超声波传感器获取行人与货车的横向距离，中央控制中心根据当前货车转弯车速与行人之间的横向距离，主动控制货车油门控制器，防止驾驶员误操作；控制的具体方法是：在任意横向距离下，油门突然加大时，中央控制中心进行紧急制动；A、10m<货车到行人的横向距离，中央控制中心控制油门，限制转弯车速30km/h；B、5m<货车到行人的横向距离<10m，中央控制中心控制油门，限制转弯车速20km/h；C、3m<货车到行人的横向距离<5m，中央控制中心控制油门，限制转弯车速10km/h；D、1m<货车到行人的横向距离<3m中央控制中心控制油门，限制转弯车速5km/h；E、货车到行人的横向距离<1m，中央控制中心控制油门，限制转弯车速0km/h；重复以上步骤一到步骤五的操作。本专利技术目的是通过以下技术方案来实现的：利用圆盘标定板对鱼眼摄像头进行标定，该步骤具体包括：B1、利用鱼眼摄像头拍摄多张黑白相间的圆盘标定板图像；B2、进行二值化，将彩色图转化为灰度图；B3、输入畸变的圆盘标定图像的数量，即横纵坐标上圆心的个数；B4、以左下圆盘圆心作为图像坐标原点，提取各个圆盘圆心的位置作为特征点；B5、做亚像素精确化，保存好这些圆心；B6、根据相机坐标系与世界坐标系转换原理，计算出外参数中的旋转矩阵以及平移向量，根据相机坐标系与图像物理坐标系转换原理，计算出内参数；B7、利用相机的非线性模型公式计算出径向畸变系数以及切向畸变系数。对载重货车右转弯盲区进行行人检测及跟踪，该步骤具体包括：D1、导入n帧校正后的货车盲区图片，选取第t帧；D2、提取感兴趣区域RIO，对ROI区域进行PCA降维；D3、提取测试样本中方向梯度直方图HOG特征，利用训练好后的支持向量机SVM分类器进行盲区行人的识别；D4、判别是否检测到行人；D5、如果未识别到行人，选取后一帧图像，进行D2；D6、如果识别到行人，提取跟踪框(groundtruth)四个边角位置信息；D7、根据跟踪框(groundtruth)位置信息，进行框内目标的颜色特征训练，统计前景目标和背景区域的颜色概率；D8、根据跟踪框(groundtruth)位置信息，提取框内检测行人的HOG特征并进行训练，获得相关滤波器模板；D9、输入下一帧校正后的图像；D10、利用贝叶斯方法判别图像中每个像素属于前景的概率，然后抑制边本文档来自技高网...

【技术保护点】
一种载重货车右转弯安全预警系统，包括鱼眼摄像头(1)，驾驶台设有液晶显示屏(5)，其特征在于，货车驾驶室后厢背部设有鱼眼摄像头(1)，货车车厢右侧设有一个以上的超声波传感器(2)，驾驶室内部设有信号处理单元(3)和中央控制中心(4)；鱼眼摄像头(1)的输出端和超声波传感器(2)输出端连接信号处理单元(3)的输入端，信号处理单元(3)的输出端连接中央控制中心(4)的输入端和液晶显示屏(5)的输入端，中央控制中心(4)的输出端连接鱼眼摄像头(1)的输入端、超声波传感器(2)的输入端和油门控制器(6)的输入端。

【技术特征摘要】
1.一种载重货车右转弯安全预警系统，包括鱼眼摄像头(1)，驾驶台设有液晶显示屏(5)，其特征在于，货车驾驶室后厢背部设有鱼眼摄像头(1)，货车车厢右侧设有一个以上的超声波传感器(2)，驾驶室内部设有信号处理单元(3)和中央控制中心(4)；鱼眼摄像头(1)的输出端和超声波传感器(2)输出端连接信号处理单元(3)的输入端，信号处理单元(3)的输出端连接中央控制中心(4)的输入端和液晶显示屏(5)的输入端，中央控制中心(4)的输出端连接鱼眼摄像头(1)的输入端、超声波传感器(2)的输入端和油门控制器(6)的输入端。2.一种载重货车右转弯安全预警方法，其包括如下步骤：步骤一、载重货车右转弯盲区信息采集：载重货车的中央控制中心检测到右转信号后，启动货车驾驶室后厢背部的鱼眼摄像头(1)，获取实时右转弯盲区视频，同时启动载重货车车厢右侧的超声波传感器(2)，获取距离信息；步骤二、利用圆盘标定板对鱼眼摄像头(1)进行标定：因为鱼眼镜头拍摄出来的照片与圆盘近似，采用一种利用圆盘标定板提供精确的点线特征来完成鱼眼摄像头(1)的标定，通过标定获取鱼眼摄像头(1)的内外参数以及畸变系数；步骤三、鱼眼畸变图像的校正：利用鱼眼图像函数校正法中的模板法对畸变图像进行校正，并用三次卷积法对校正后的图像进行填充，为右转弯盲区中行人的检测及跟踪做准备工作；步骤四、载重货车右转弯盲区行人检测及跟踪：校正畸变图像以后，在信号处理单元(3)内进行行人的检测以及跟踪处理，选取校正后的第一帧图像进行载重货车右转弯盲区行人检测；采用方向梯度直方图HOG的特征表示加上支持向量机SVM的分类器算法进行行人检测；检测到盲区行人后，提取第一帧的跟踪框位置信息，采用基于颜色特征和HOG特征表示的相关滤波融合算法进行盲区行人跟踪；步骤五、载重货车右转弯车速控制：载重货车右转弯盲区行人信息实时的显示在液晶显示屏(5)上可以帮助驾驶员了解盲区信息，但为了防止驾驶员误踩油门，采用一种基于人车横向距离的载重货车右转弯车速控制方案，在鱼眼摄像头(1)检测跟踪盲区行人同时，超声波传感器(2)获取行人与货车的横向距离，中央控制中心(4)根据当前货车转弯车速与行人之间的横向距离，主动控制货车油门控制器(6)，防止驾驶员误操作；控制的具体方法是：在任意横向距离下，油门突然加大时，中央控制中心进行紧急制动；A、10m<货车到行人的横向距离，中央控制中心控制油门，限制转弯车速30km/h；B、5m<货车到行人的横向距离&lt...

【专利技术属性】
技术研发人员：张祖涛，朱勉宽，席超星，姚迪，潘宏烨，漆令飞，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：四川,51