一种基于深度学习的车辆防碰撞预警方法及系统技术方案

本发明专利技术提供了一种基于深度学习的车辆防碰撞预警方法及系统，本方法通过使用改进后的YOLOv3算法对视频中的车辆进行识别检测，得到车辆在图像中的位置信息；车道线检测技术对视频图像中的车道线进行检测和追踪，得到稳定、准确的车道线；车速检测技术利用图像处理技术计算出当前车辆的行驶速度；根据车速、车道线检测结果和驾驶员的行为特性以及知觉反应特性，在本车前方绘制一块随车速实时变化的安全制动预警区域；碰撞事故预警技术根据车辆在图像中的位置信息，结合实时安全预警区域的计算结果，对公路上可能发生的碰撞事故进行预测。采用本发明专利技术可对驾驶员的行车决策提供帮助，保证驾驶员的行车安全并最大限度的降低碰撞的概率。

A Vehicle Anti-collision Early Warning Method and System Based on Deep Learning

The invention provides a vehicle anti-collision early warning method and system based on in-depth learning. The method uses the improved YOLOv3 algorithm to recognize and detect the vehicle in the video, and obtains the position information of the vehicle in the image; the lane detection technology detects and traces the lane in the video image, and obtains the stable and accurate Lane line; and the speed detection technology utilizes the lane detection technology. Image processing technology calculates the current vehicle speed; according to the vehicle speed, lane detection results, driver's behavior characteristics and perceptual response characteristics, a real-time safety braking early warning area is drawn in front of the vehicle, which changes with the vehicle speed; collision accident early warning technology based on the location information of the vehicle in the image, combined with the calculation results of the real-time safety early warning area, to highway. The possible collision accidents are predicted. The invention can provide help for driver's driving decision, ensure driver's driving safety and minimize the probability of collision.

【技术实现步骤摘要】
一种基于深度学习的车辆防碰撞预警方法及系统
本专利技术属于计算机视觉、智能驾驶领域，具体涉及一种基于深度学习的车辆防碰撞预警方法及系统。
技术介绍
随着我国高速公路里程和汽车保有量的不断增加，汽车不仅提高了人们的现代化生活水平，而且在一定程度上推动了国民经济健康稳定的发展。但这也使得高速公路的事故发生率越来越高，一方面造成了国民经济损失，另一方面严重威胁人民生命财产安全，因此对高速公路发生的交通事故进行针对性的分析和有效的预防变的尤为重要。基于深度学习的高速公路车辆防碰撞预警系统，运用计算机视觉技术，对行车记录仪所提供的以司机第一视角拍摄的视频进行分析处理。该系统包括车辆识别检测技术，车道线检测跟踪技术，当前车辆前方安全区实时计算技术三大核心技术。三大核心技术的国内外研究现状综述如下：(1)基于YOLOv3的车辆识别检测技术为了对图像中的车辆进行识别和检测，各国学者提出了不同的算法，这些算法可以归结为两类，第一类是传统的车辆识别算法，它将车辆识别过程分为特征提取和目标分类两个阶段，特征提取需要人工构建，且构建效率低下，特别在复杂的交通环境中，识别结果易受到光照、天气、环境等因素的影响，识别结果不理想；第二类是基于深度神经网络的目标识别检测算法，其主要优势在于它将特征提取、分类、边框定位统一到一个深度网络框架内，大大提高了目标检测的效率和准确度，同时对于目标旋转、位移具有不变性，对复杂的目标检测场景有较强的适应能力。目前，基于深度神经网络的目标识别检测算法是最为准确的方法，它超越了传统目标检测算法的性能，其中具有代表性的深度神经网络有R-CNN、FastR-CNN、MaskR-CNN、GoogleNet、SSD等，但这些方法仍然存在计算速度慢，无法达到实时性的要求。(2)车道线检测技术当前针对车道线识别的方法很多，其中采用直线模型结合霍夫变换(HoughTransform)方法以及应用其改进方法，如改进的概率霍夫变换PPHT(ProgressiveProbabilisticHoughTransform)较为常见，此外还有Menthon提出的利用道路两边相反方向的边缘点来重建3D模型，Kluge首先对边缘图像进行二值化，然后利用最小均方误差来估计车道的样条曲线模型，Broggi利用在逆透视变换与霍夫变换来检测车道线。这些方法在智能车领域都取得了不错的效果，但是这些基于边缘检测的方法难以应对复杂的城市道路，易受到其他边缘噪声的影响。(3)当前车辆前方安全区实时计算技术安全距离模型具有代表性的有MAZDA模型、HONDA模型、伯克利模型、Jaguar模型和NHSTA模型相继被提出。密歇根大学基于ICCFOT(InterCompanyCaseFillonTime)数据库对上述5种模型的漏报率和误报率进行了评价，其中美国高速公路交通安全署的NHSTA模型表现的性能最好，但报警精确性仅有23％，因此现有模型算法仍有很大的改进空间。
技术实现思路
专利技术目的：本专利技术提供一种基于深度学习的车辆防碰撞预警方法及系统，对驾驶员的行车决策提供帮助，保证驾驶员的行车安全并最大限度的降低碰撞的概率。技术方案：本专利技术所述一种基于深度学习的车辆防碰撞预警方法包括以下步骤：(1)对车载视频图像进行预处理，得到降噪后的图像；(2)进行车速检测，以车道线为参照物，对连续多张图像进行分析，获取当前车辆的行驶速度，将该速度和驾驶员的行为特性、知觉反应特性相结合，得到车辆以该速度行驶时的紧急制动距离；(3)进行车道线检测，以预处理后的图像为输入，运用边缘检测算法得到车道线的边缘，接着利用霍夫直线检测算法得到车道线点的集合，再接着利用集合中点的斜率分出左右车道线点的集合，之后分别将这两个点的集合拟合为最优的两条直线，实现车道线的检测，最后不断更新点的集合，实现车道线的追踪；(4)将图像中的像素距离和实际距离进行方程拟合，结合步骤(2)和步骤(3)的结果，在车辆前方绘制出根据车速变化的安全区域，并在图像上进行可视化展示；(5)在YOLOv3的基础上，优化神经网络结构模型，采集车辆数据，重新训练神经网络，使用优化后的YOLOv3算法，实现对车辆的实时识别和检测，得到车辆在图像中的位置，并将结果保存在车辆信息队列中；(6)遍历车辆信息队列，结合绘制的安全制动区，对可能发生的交通碰撞事件进行预测，通过人机交互界面，对驾驶员进行提示。步骤(1)所述的对视频图像进行预处理主要包括定义感兴趣区域、图像二值化、形态学操作、高斯模糊。步骤(3)所述的车辆行驶速度通过以下公式实现：其中，FPS为视频当前的播放帧数，frameCount(n)为图像ROI区域中车道线连续出现的次数。步骤(2)所述的车辆紧急制动距离过以下公式实现：其中，在司机采取紧急制动措施时，t1为司机的反应时间，t′2为司机的判断时间，t″2为司机做出制动行为所花费的时间，为附着系数，g＝9.8(m/s2)为重力加速度，V为当前车辆的行驶速度。步骤(4)所述的实际距离和图像中像素距离的拟合方程，通过以下公式实现：Ph＝AL3-BL2+CL+D其中，L为图像中的像素距离，Ph为实际距离，A，B，C和D为多项式系数。所述步骤(5)所述的优化数据网络结构模型包括以下步骤：(51)通过DarkNet-53网络对全图进行特征提取；(52)将输入图像分成19*19的网络单元且在每个单元中产生三个预测边界框和原标记框的IOU交并比值，选取最大的边框进行预测，采用SPP网络融合多个感受野适应不同大小的目标；(53)采用逻辑回归作为分类器，使用19*19、38*38这两种不同尺度的特征图进行预测。本专利技术所述的一种基于深度学习的车辆防碰撞预警系统，包括图像获取和预处理模块、多线程并行运算模块、车速检测模块、车道线检测模块、安全制动区绘制模块、车辆识别检测模块、碰撞预警模块；所述车速检测模块，运用图像处理技术，对连续多张图像进行分析，计算出当前车辆的行驶速度，与驾驶员的行为特性以及知觉反应特性相结合，得到车辆以该速度行驶时的紧急制动距离；所述车道线检测模块，运用边缘检测算法和霍夫直线检测算法得到车道线点的集合，将其拟合为最优的两条直线，并不断更新这些点的集合，对车道线进行追踪；所述安全制动区绘制模块，对图像中的像素距离和实际距离进行方程拟合，结合车道线检测结果和计算出的车辆紧急制动距离，在车辆前方绘制一块根据车速变化的安全区域，并在图像上进行可视化展示；所述车辆识别检测模块，使用改进后的YOLOv3算法，对视频中的车辆进行识别和检测，得到车辆在图像中的位置信息，并将结果保存在车辆信息队列中；所述碰撞预警模块，遍历车辆信息队列，结合绘制的安全制动区，对可能发生的交通碰撞事件进行预测。有益效果：与现有技术相比，本专利技术的有益效果：1、本专利技术在原始YOLOv3算法的基础上，对其进行了改进，实现单一类别检测，在保证精度的情况下进一步将视频的检测帧数提高到43FPS，更好的满足了系统实时性的需求；2、本文提出的车道线检测方法有效的解决了这些问题，在边缘噪声的干扰下仍然取得了不错的检测效果；3、本专利技术提出的预警安全区域考虑了驾驶员的行为特性以及知觉反应特性，能较好的符合驾驶员追尾特性，能提高系统的预警率。附图说明图1为本专利技术基于深本文档来自技高网...

【技术保护点】
1.一种基于深度学习的车辆防碰撞预警方法，其特征在于，包括以下步骤：(1)对车载视频图像进行预处理，得到降噪后的图像；(2)进行车速检测，以车道线为参照物，对连续多张图像进行分析，获取当前车辆的行驶速度，将该速度和驾驶员的行为特性、知觉反应特性相结合，得到车辆以该速度行驶时的紧急制动距离；(3)进行车道线检测，以预处理后的图像为输入，运用边缘检测算法得到车道线的边缘，接着利用霍夫直线检测算法得到车道线点的集合，再接着利用集合中点的斜率分出左右车道线点的集合，之后分别将这两个点的集合拟合为最优的两条直线，实现车道线的检测，最后不断更新点的集合，实现车道线的追踪；(4)将图像中的像素距离和实际距离进行方程拟合，结合步骤(2)和步骤(3)的结果，在车辆前方绘制出根据车速变化的安全区域，并在图像上进行可视化展示；(5)在YOLOv3的基础上，优化神经网络结构模型，采集车辆数据，重新训练神经网络，使用优化后的YOLOv3算法，实现对车辆的实时识别和检测，得到车辆在图像中的位置，并将结果保存在车辆信息队列中；(6)遍历车辆信息队列，结合绘制的安全制动区，对可能发生的交通碰撞事件进行预测，通过人机交互界面，对驾驶员进行提示。...

【技术特征摘要】
1.一种基于深度学习的车辆防碰撞预警方法，其特征在于，包括以下步骤：(1)对车载视频图像进行预处理，得到降噪后的图像；(2)进行车速检测，以车道线为参照物，对连续多张图像进行分析，获取当前车辆的行驶速度，将该速度和驾驶员的行为特性、知觉反应特性相结合，得到车辆以该速度行驶时的紧急制动距离；(3)进行车道线检测，以预处理后的图像为输入，运用边缘检测算法得到车道线的边缘，接着利用霍夫直线检测算法得到车道线点的集合，再接着利用集合中点的斜率分出左右车道线点的集合，之后分别将这两个点的集合拟合为最优的两条直线，实现车道线的检测，最后不断更新点的集合，实现车道线的追踪；(4)将图像中的像素距离和实际距离进行方程拟合，结合步骤(2)和步骤(3)的结果，在车辆前方绘制出根据车速变化的安全区域，并在图像上进行可视化展示；(5)在YOLOv3的基础上，优化神经网络结构模型，采集车辆数据，重新训练神经网络，使用优化后的YOLOv3算法，实现对车辆的实时识别和检测，得到车辆在图像中的位置，并将结果保存在车辆信息队列中；(6)遍历车辆信息队列，结合绘制的安全制动区，对可能发生的交通碰撞事件进行预测，通过人机交互界面，对驾驶员进行提示。2.根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤(1)所述的对视频图像进行预处理主要包括定义感兴趣区域、图像二值化、形态学操作、高斯模糊。3.根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤(3)所述的车辆行驶速度通过以下公式实现：其中，FPS为视频当前的播放帧数，frameCount(n)为图像ROI区域中车道线连续出现的次数。4.根据权利要求1所述的一种基于深度学习的车辆防碰撞预警方法，其特征在于，步骤(2)所述的车辆紧急制动距离过以下公式实现：其中，在司机采取紧急制动措施时，t1为司机的反应时间，t′2为司机的判断时间，t″2为司机做出制动行为所花费的时间，为附着系...

【专利技术属性】
技术研发人员：高尚兵，蔡创新，郭若凡，周君，朱全银，黄子赫，李文婷，张晟鼎，王雨豪，李祖伟，
申请(专利权)人：淮阴工学院，
类型：发明
国别省市：江苏,32