一种基于道路前方行人和骑行者的防碰撞预警方法技术

本发明专利技术公开了一种基于道路前方行人和骑行者的防碰撞预警方法，属于驾驶辅助系统领域，包括环境感知、信息解读和目标状态判断三个方面。本发明专利技术将收集的训练集送入YOLO‑R网络进行训练，进行目标检测和分类，采用Kalman滤波实现多目标跟踪；对图像进行逆透视变换，得到IPM图像，并通过数据回归建模拟合出原始图像与IPM图像像素坐标的关系曲线，再由IPM图像像素坐标与世界坐标的线性关系估算出距离；根据自车车速和制动距离，确定预警激活区域，然后对处于激活区域内的目标采用模糊预警算法判断目标是否存在危险，若有危险及时提醒驾驶者，从而有效的减少事故的发生，保护行人和骑行者的安全。

【技术实现步骤摘要】
一种基于道路前方行人和骑行者的防碰撞预警方法
本专利技术属于汽车主动安全领域，涉及到图像处理以及防碰撞预警系统的知识，具体涉及一种基于道路前方行人和骑行者的防碰撞预警方法。
技术介绍
在我国这种典型的混合交通环境下，行人、骑行者、车辆等都是道路交通参与者，其中行人、骑行者都是弱势群体，他们暴露在外，没有防护措施，在发生交通事故时人身安全更难以保障，因此保护行人和骑行者的安全尤为重要。传统的行人和骑行者检测算法是通过人工提取HOG、Haar、LUV等特征，训练分类器，完成目标检测的。这种方法在特定条件下可以取得较好的检测效果，但人工设计的特征在光线昏暗、目标姿态变化明显以及复杂场景下的检测效果不太好。相比之下，深度学习可以通过卷积层在图像中提取特征，其检测效果明显优于传统机器学习方法。随着硬件计算能力的增强以及大量训练数据集的建立，深度学习得到了蓬勃发展。在目标检测方面，从RCNN、Fast-RCNN、FasterRCNN到YOLO、SSD、YOLOv2，目标检测的速度和准确率都有了很大的突破。中国专利(CN1O2765365A)公开了基于机器视觉的行人检测方法及行人防碰撞预警系统，采用行人分类器检测道路上的行人,模糊了行人之间的个体特征,减少了个体性差异对检测结果的影响,通过防撞预警系统判断发生事故的可能性，但其检测精度低，忽略了骑行者的安全。中国专利(CN204870868U)公开了基于多传感器的汽车防碰撞及行人保护预警系统，运用激光测距和超声波测距,实现对汽车前方和后方车辆、障碍物或行人的预警，该方法预警指标单一，预警系统的可靠性较差。
技术实现思路
针对上述问题，本专利技术提出一种基于道路前方行人和骑行者的防碰撞预警方法，根据综合分析目标的位置、横纵向距离、自车的车速以及碰撞时间TTC构建了基于多信息融合的防碰撞预警系统来判断目标的危险程度，可以有效的检测出暴露在外面的行人和骑行者，根据预警激活区域的设定，只有目标进入激活区域再进行目标状态判断，保护行人和骑行者的安全。本专利技术所采用的具体技术方案如下：一种基于道路前方行人和骑行者的防碰撞预警方法，包括以下步骤：S1，搭建基于道路前方行人和骑行者的防碰撞预警系统；S2，离线训练使用YOLOv2改进的网络YOLO-R进行模型训练；S3，将一帧图像输入到训练好的YOLO-R网络中，检测出行人和骑行者并进行分类，实现多目标跟踪；S4，计算出车辆和前方目标的横纵向距离；S5，根据自车车速，设定预警激活区域，利用横纵向距离判断目标是否在激活区域，对在预警激活区域内的目标，计算预警指标，并将指标代入预警系统，确定预警等级。进一步，所述基于道路前方行人和骑行者的防碰撞预警系统总体结构包括环境感知、信息解读和目标状态判断三个模块，环境感知包括目标检测与跟踪、消失点检测和自车车速采集；目标检测与跟踪、消失点检测由前视摄像头、视频采集卡获取相关的信息，并通过视频采集卡将图像信息传递给PC机，车速由GPS模块采集，信息解读和目标状态判断模块都在PC机中实现，最后由软件界面显示预警结果。进一步，所述YOLO-R网络的搭建过程为：在YOLOv2网络结构的基础上，聚类选取anchorboxes，去掉passthrough层，增加残差网络构成YOLO-R网络。进一步，所述S2中模型训练过程分为前向传播和反向传播两部分，具体为：将训练样本进行前向传播计算，最后输出候选框的相对位置、包含目标的置信度以及类别概率信息；利用反向传播算法和小批量梯度下降法，不断更新网络各层权重，减小代价函数的值；不断重复上述过程，当所有样本训练完毕，即完成一次迭代。进一步，所述S4中算法包括离线过程和在线过程两部分，离线过程具体为：建立原始图像与IPM图像像素坐标的回归模型；在线过程具体为：得到目标矩形框底边中点的像素坐标；再由道路消失点检测算法计算出摄像头俯仰角，根据俯仰角变化值Δθ，修正目标像素坐标；然后通过回归模型求出原始图像像素坐标对应的IPM图像像素坐标；最后根据IPM图像像素坐标与世界坐标的线性关系，估算出目标的横向和纵向距离。进一步，所述纵向距离X＝(hIPM-v′)·σ2+Xmin，其中hIPM表示图像的高度，v′表示IPM图像像素坐标，σ2表示垂直方向上单位像素所表示的实际物理距离值，Xmin为IPM图像所对应的实际前方最小距离。进一步，所述横向距离Y＝(u′-wIPM/2)·σ1，其中wIPM表示图像的宽度，u′表示IPM图像像素坐标，σ1表示水平方向上单位像素所表示的实际物理距离值。进一步，利用横纵向距离判断目标是否在激活区域的公式为：dfmin为车辆与目标最近距离，dfmax为车辆与目标最远纵向距离。进一步，确定预警等级采用的是模糊预警算法：确定预警等级、预警指标集合、预警权重集，再确定预警指标中各指标的权重集对预警等级的隶属度，从而确定模糊评价矩阵，确定预警等级作为目标当前的状态。本专利技术的有益效果为：1、本专利技术使用YOLOv2改进的网络YOLO-R对行人和骑行者进行检测，不但可以自动提取表征目标的更高层次特征，而且通过层级之间的特征融合，提高了行人和骑行者检测的性能。2、本专利技术基于道路消失点估计的动态逆透视变换和数据回归建模的单目测距算法，降低了摄像头俯仰角变化对测距精度的影响，提高了测距的精度。3、本专利技术使用模糊综合评价方法进行防碰撞预警，利用多个预警指标对预警等级的隶属度，得到模糊评价矩阵，然后综合评价确定最终结果，确定危险等级，提醒驾驶者减少事故的发生，保证行人和骑行者的安全。附图说明图1为本专利技术一种基于道路前方行人和骑行者的防碰撞预警方法的总体结构图；图2为本专利技术基于YOLOv2网络改进的YOLO-R网络的结构图；图3为本专利技术目标检测及跟踪算法图；图4为本专利技术基于逆透视变换和数据回归建模的单目测距算法流程图；图5为本专利技术原始图像与IPM图像像素纵坐标的回归模型；图6为本专利技术原始图像像素纵坐标v与Δu的回归模型；图7为本专利技术激活区域示意图。具体实施方式下面结合附图及具体实施方式对本专利技术进行具体说明。本专利技术的总体结构图如图1所示，包括环境感知、信息解读和目标状态判断三个方面，先通过摄像头获取车辆外部环境信息，包括道路消失点位置、前方目标位置以及跟踪目标位置，同时利用GPS模块获取自车车速，然后通过目标检测跟踪结果、消失点位置信息以及摄像头标定结果计算出目标的横纵向距离，再根据自车车速，设定预警激活区域，并利用横纵向距离判断目标是否在预警激活区域内，最后针对在预警激活区域内的目标，计算预警指标，并将这些指标带入模糊预警算法，确定预警等级。S1，搭建一种基于道路前方行人和骑行者的防碰撞预警系统，总体结构包括环境感知、信息解读和目标状态判断三大模块，环境感知包括目标检测与跟踪、消失点检测和自车车速采集，目标检测与跟踪、消失点检测由前视摄像头获取相关的信息，并通过视频采集卡将图像信息传递给PC机，完成图像采集，摄像头由12V的电源供电，车速由GPS模块采集，信息解读和目标状态判断模块都在PC机中实现，最后由软件界面显示预警结果，软件架构是在visualstudio2015开发平台下结合CUDA8.0架构、深度学习加速库cuDNN以及OpenCV2.4.10库实现的。S2，离线训练本文档来自技高网...

【技术保护点】
1.一种基于道路前方行人和骑行者的防碰撞预警方法，其特征在于，包括以下步骤：S1，搭建基于道路前方行人和骑行者的防碰撞预警系统；S2，离线训练使用YOLOv2改进的网络YOLO‑R进行模型训练；S3，将一帧图像输入到训练好的YOLO‑R网络中，检测出行人和骑行者并进行分类，实现多目标跟踪；S4，计算出车辆和前方目标的横纵向距离；S5，根据自车车速，设定预警激活区域，利用横纵向距离判断目标是否在激活区域，对在预警激活区域内的目标，计算预警指标，并将指标代入预警系统，确定预警等级。

【技术特征摘要】
1.一种基于道路前方行人和骑行者的防碰撞预警方法，其特征在于，包括以下步骤：S1，搭建基于道路前方行人和骑行者的防碰撞预警系统；S2，离线训练使用YOLOv2改进的网络YOLO-R进行模型训练；S3，将一帧图像输入到训练好的YOLO-R网络中，检测出行人和骑行者并进行分类，实现多目标跟踪；S4，计算出车辆和前方目标的横纵向距离；S5，根据自车车速，设定预警激活区域，利用横纵向距离判断目标是否在激活区域，对在预警激活区域内的目标，计算预警指标，并将指标代入预警系统，确定预警等级。2.根据权利要求1所述的一种基于道路前方行人和骑行者的防碰撞预警方法，其特征在于，所述基于道路前方行人和骑行者的防碰撞预警系统总体结构包括环境感知、信息解读和目标状态判断三个模块，环境感知包括目标检测与跟踪、消失点检测和自车车速采集；目标检测与跟踪、消失点检测由前视摄像头获取相关的信息，并通过视频采集卡将图像信息传递给计算机，车速信息由GPS模块采集，信息解读和目标状态判断模块都在计算机中实现，最后由软件界面显示预警结果。3.根据权利要求1所述的一种基于道路前方行人和骑行者的防碰撞预警方法，其特征在于，所述YOLO-R网络的搭建过程为：在YOLOv2网络结构的基础上，聚类选取anchorboxes，去掉passthrough层，增加残差网络构成YOLO-R网络。4.根据权利要求书1所述的一种基于道路前方行人和骑行者的防碰撞预警方法，其特征在于，所述S2中模型训练过程分为前向传播和反向传播两部分，具体为：将训练样本进行前向传播计算，最后输出候选框的相对位置、包含目标的置信度以及类别概率信息；利用反向传播算法和小批量梯度下降法，不断更新网络各层权重，减小代价函数的值；不断重复上述过程，...

【专利技术属性】
技术研发人员：刘军，张凯，后士浩，张睿，胡超超，高雪婷，
申请(专利权)人：江苏大学，
类型：发明
国别省市：江苏,32