一种基于视觉和雷达融合的前方碰撞预警方法及其系统技术方案

本发明专利技术公开了一种基于视觉和雷达融合的前方碰撞预警方法，包括以下步骤：步骤S100，雷达工作，获取车辆周边的障碍物信号；步骤S110，将雷达获取信号按照一级碰撞区域、二级碰撞区域、三级碰撞区域进行分类；步骤S120，判断二级碰撞区域内是否存在雷达信号，若是则对该雷达信号的障碍物进行跟踪，并进行步骤S130，若否则认定该区域无目标，进行步骤S130；步骤S130，判断一级碰撞区域是否有障碍物信号，若有则进行步骤S140，否则进行步骤S300；步骤S140，将雷达信号按照距离排序；步骤S150，选择未使用视觉确认的最近发生碰撞的雷达信号。本发明专利技术雷达划定识别区域，减少处理器图像识别车辆时间；视觉可滤除雷达虚目标，降低误报率；雷达为系统提供更精确距离、速度信息。

A forward collision warning method and system based on vision and radar fusion

【技术实现步骤摘要】
一种基于视觉和雷达融合的前方碰撞预警方法及其系统
本专利技术涉及汽车安全辅助驾驶
，具体涉及一种基于视觉和雷达融合的前方碰撞预警方法及其系统。
技术介绍
随着汽车的普及，人们对汽车安全的重视程度越来越高。据世界卫生组织统计，全球每年有124万人死于交通事故，其中绝大多数事故是人为原因造成的。而如果无人驾驶得到普及，那么这一数字可能会大大减少。前方碰撞预警系统(FCW)正是无人驾驶实现过程中不可缺少的一环。前方碰撞预警系统能够通过雷达系统来时刻监测前方车辆，判断本车于前车之间的距离、方位及相对速度，当存在潜在碰撞危险时对驾驶者进行警告。因此，亟需本领技术人员研究出一种基于视觉和雷达融合的前方碰撞预警方法。
技术实现思路
本专利技术的目的是为了解决上述现有技术中存在的不足，提供了一种基于视觉和雷达融合的前方碰撞预警方法及其系统。为了达到上述专利技术目的，本专利技术提供的技术方案如下：一种基于视觉和雷达融合的前方碰撞预警方法，其特征在于，包括以下步骤：步骤S100，雷达工作，获取车辆周边的障碍物信号；步骤S110，将雷达获取信号按照一级碰撞区域、二级碰撞区域、三级碰撞区域进行分类；步骤S120，判断二级碰撞区域内是否存在雷达信号，若是则对该雷达信号的障碍物进行跟踪，并进行步骤S130，若否则认定该区域无目标，进行步骤S130；步骤S130，判断一级碰撞区域是否有障碍物信号，若有则进行步骤S140，否则进行步骤S300；步骤S140，将雷达信号按照距离排序；步骤S150，选择未使用视觉确认的最近发生碰撞的雷达信号；步骤S160，通过雷达信号确定视觉识别的区间，包括以下步骤：步骤S161，划定动态视觉识别区域，所述动态的视觉识别区域通过以下计算式确定：横向范围：lobstacle*sin(θobstacle-1.0)-2.4～lobstacle*sin(θobstacle+1.0)+2.4纵向范围：lobstacle*cos(θobstacle+1.0)*(1-15％)-0.5～lobstacle*cos(θobstacle-1.0)*(1+15％)+0.5式中：lobstacle为雷达探测到障碍物距离；θobstacle为雷达探测到障碍物的角度；2.4为最大车宽；15％为视觉最大误差；0.5为雷达探测距离误差；根据以上公式确定视觉识别的地平面方形区域；步骤S162，坐标转换；将上述视觉识别的地平面方形区域的四个点的坐标转换至图像坐标系四个点像素坐标，从而确定视觉识别的梯形区域；步骤S170，使用Haar特征视觉识别梯形区域；步骤S180，通过Haar特征视觉识别结果，判断该雷达目标是否为车辆，若是则进行步骤S200，否则进行步骤S190；步骤S190，判断区间内雷达信号，是否全部使用视觉判断完毕；若是则进行步骤S410,否则返回步骤S150；步骤S200，数据匹配算法，具体步骤如下：步骤S201，将视觉采集模块采集的纵向距离与雷达采集的目标与车辆的纵向距离区间进行匹配，匹配成功，则定义“匹配等级”为1，并进行步骤S202；否则为0；步骤S202，“匹配等级”为1后，通过横向位置误差区间匹配，匹配成功，则定义“匹配等级”加1，并进行步骤S203；否则为0；步骤S203，通过视觉采集模块跟踪下一帧图像，视觉识别障碍物为车辆后可求取目标车辆的速度信息，通过与雷达采集的车辆速度信息进行匹配，如果匹配成功，“匹配等级”加1，并进行步骤S204；否则为0；步骤S204，定义“匹配成功标志位”为1，判断“匹配等级”是否为3，若是则回到步骤S160跟踪下一帧数据，匹配成功后，“匹配成功标志位”加1,若否则匹配不成功，结束数据匹配并进行步骤S180；步骤S205，判断“匹配成功标志位”是否大于1，若是则表明雷达与视觉的信号匹配成功，使用雷达的纵向距离为准，使用视觉的横向距离为准，充分发挥传感器的优势，对目标进行精确定位，并进行步骤S220；若否则匹配不成功，结束数据匹配并进行步骤步骤S210；步骤S210,选择视觉识别物体位置状态参数，进入步骤S230；步骤S220，跟踪算法，本专利通过卡尔曼滤波方程对匹配成功的数据进行滤波跟踪，并进入S230；步骤S230，报警，所述报警的方式为：通过前后两帧物体位置信息可求出物体横向运动的速率，通过物体的横向中心位置及目标宽度，结合本车宽度，可求出物体在横向位置远离碰撞区域的时间t；当TTC算法时间小于设定阈值，且大于物体在横向位置远离碰撞区域的时间t时报警，从而减少超车、换道引起的误报；偏离时间：toffset＝(Yobstacle+Wobstacle/2+Wvehicle/2)/Voffset；其中Yobstacle为障碍物中心横向坐标，Wobstacle为障碍物宽度，Wvehicle为本车自身宽度，Voffset为目标偏离速度碰撞时间tTTc＝-xc/vc其中xc为车间距离，vc为纵向行驶方向相对速度当tTTc>0，且小于设定碰撞阈值2.7，且tTTc<tOffset时，系统发出报警声音，并进行步骤S230；步骤S230，结束本帧，开始下一帧；步骤S300，使用视觉快速扫描1级碰撞区域，步骤如下：步骤S301，使用车底阴影及车身矩形特征、边缘对称性的传统识别车辆的方法,快速扫描一级碰撞区域；可快速定位潜在车辆在图像中的位置；步骤S302，判断是否存在潜在车辆，若有进行步骤S310，否则进行步骤S400；步骤S310，根据步骤S301识别到的车辆潜在位置，确认Haar确认的图像位置区域；由特征识别的像素区域(xPixel，yPixel，wPixel，hPixel)，确定haar识别地平面底边像素位置为：其中xPixel为潜在车辆目标左下角像素行坐标，yPixel为潜在车辆目标像素左下角列坐标，wPixel为潜在车辆目标像素宽度，hPixel为潜在车辆目标像素高度；步骤S320，使用Haar识别图像像素区域；步骤S330，判断潜在目标是否为车辆，若是进行步骤S210，否则执行步骤S400；步骤S400，三级碰撞区间，目标检测，具体步骤如下：步骤S401，判断三级碰撞区间是否存在目标，若有进行步骤S140，否则S230；步骤S410，判断该区域是1级区域还是3级区域，如果是1级区域，则进入步骤S400，如果是3级区域，则进入步骤S230，结束本帧。在步骤S110中，所述一级碰撞区域为以车辆为坐标原点的宽度6m、纵向距离0-120m的范围；所述二级碰撞区域为以车辆为坐标原点的宽度6m，纵向距离120-180m的范围；所述三级区域为除一级、二级碰撞区域外，以车辆为坐标原点的纵向距离0-120m范围内，视觉采集模块及雷达可识别的区域。一种基于视觉和雷达融合的前方碰撞的预警系统，其特征在于：包括电源模块、雷达探测模块、视觉采集模块、图像处理模块、报警模块；所述电源模块分别与雷达探测模块、视觉采集模块、图像处理模块、报警模块相适配，所述图像处理模块分别与雷达探测模块、视觉采集模块相适配，所述图像处理模块与报警模块相适配。更进一步地，所述电源模块分别为雷达探测模块、视觉采集模块、图像处理模块、报警模块提供运行所需的电能，所述图像处理模块分别与雷达探测模块、视觉采集模块进行数据交互，所述图像本文档来自技高网...

【技术保护点】
1.一种基于视觉和雷达融合的前方碰撞预警方法，其特征在于，包括以下步骤：步骤S100，雷达工作，获取车辆周边的障碍物信号；步骤S110，将雷达获取信号按照一级碰撞区域、二级碰撞区域、三级碰撞区域进行分类；步骤S120，判断二级碰撞区域内是否存在雷达信号，若是则对该雷达信号的障碍物进行跟踪，并进行步骤S130，若否则认定该区域无目标，进行步骤S130；步骤S130，判断一级碰撞区域是否有障碍物信号，若有则进行步骤S140，否则进行步骤S300；步骤S140，将雷达信号按照距离排序；步骤S150，选择未使用视觉确认的最近发生碰撞的雷达信号；步骤S160，通过雷达信号确定视觉识别的区间，包括以下步骤：步骤S161，划定动态视觉识别区域，所述动态的视觉识别区域通过以下计算式确定：横向范围：lobstacle*sin(θobstacle‑1.0)‑2.4～lobstacle*sin(θobstacle+1.0)+2.4纵向范围：lobstacle*cos(θobstacle+1.0)*(1‑15％)‑0.5～lobstacle*cos(θobstacle‑1.0)*(1+15％)+0.5式中：lobstacle为雷达探测到障碍物距离；θobstacle为雷达探测到障碍物的角度；2.4为最大车宽；15％为视觉最大误差；0.5为雷达探测距离误差；根据以上公式确定视觉识别的地平面方形区域；步骤S162，坐标转换；将上述视觉识别的地平面方形区域的四个点的坐标转换至图像坐标系四个点像素坐标，从而确定视觉识别的梯形区域；步骤S170，使用Haar特征视觉识别梯形区域；步骤S180，通过Haar特征视觉识别结果，判断该雷达目标是否为车辆，若是则进行步骤S200，否则进行步骤S190；步骤S190，判断区间内雷达信号，是否全部使用视觉判断完毕；若是则进行步骤S410,否则返回步骤S150；步骤S200，数据匹配算法，具体步骤如下：步骤S201，将视觉采集模块采集的纵向距离与雷达采集的目标与车辆的纵向距离区间进行匹配，匹配成功，则定义“匹配等级”为1，并进行步骤S202；否则为0；步骤S202，“匹配等级”为1后，通过横向位置误差区间匹配，匹配成功，则定义“匹配等级”加1，并进行步骤S203；否则为0；步骤S203，通过视觉采集模块跟踪下一帧图像，视觉识别障碍物为车辆后可求取目标车辆的速度信息，通过与雷达采集的车辆速度信息进行匹配，如果匹配成功，“匹配等级”加1，并进行步骤S204；否则为0；步骤S204，定义“匹配成功标志位”为1，判断“匹配等级”是否为3，若是则回到步骤S160跟踪下一帧数据，匹配成功后，“匹配成功标志位”加1,若否则匹配不成功，结束数据匹配并进行步骤S180；步骤S205，判断“匹配成功标志位”是否大于1，若是则表明雷达与视觉的信号匹配成功，使用雷达的纵向距离为准，使用视觉的横向距离为准，充分发挥传感器的优势，对目标进行精确定位，并进行步骤S220；若否则匹配不成功，结束数据匹配并进行步骤步骤S210；步骤S210,选择视觉识别物体位置状态参数，进入步骤S230；步骤S220，跟踪算法，本专利通过卡尔曼滤波方程对匹配成功的数据进行滤波跟踪，并进入S230；步骤S230，报警，所述报警的方式为：通过前后两帧物体位置信息可求出物体横向运动的速率，通过物体的横向中心位置及目标宽度，结合本车宽度，可求出物体在横向位置远离碰撞区域的时间t；当TTC算法时间小于设定阈值，且大于物体在横向位置远离碰撞区域的时间t时报警，从而减少超车、换道引起的误报；偏离时间：toffset＝(Yobstacle+Wobstacle/2+Wvehicle/2)/Voffset；其中Yobstacle为障碍物中心横向坐标，Wobstacle为障碍物宽度，Wvehicle为本车自身宽度，Voffset为目标偏离速度碰撞时间tTTc＝‑xc/vc其中xc为车间距离，vc为纵向行驶方向相对速度当tTTc>0，且小于设定碰撞阈值2.7，且tTTc<tOffset时，系统发出报警声音，并进行步骤S230；步骤S230，结束本帧，开始下一帧；步骤S300，使用视觉快速扫描1级碰撞区域，步骤如下：步骤S301，使用车底阴影及车身矩形特征、边缘对称性的传统识别车辆的方法,快速扫描一级碰撞区域；可快速定位潜在车辆在图像中的位置；步骤S302，判断是否存在潜在车辆，若有进行步骤S310，否则进行步骤S400；步骤S310，根据步骤S301识别到的车辆潜在位置，确认Haar确认的图像位置区域；由特征识别的像素区域(xPixel，yPixel，wPixel，hPixel)，确定haar识别地平面底边像素位置为：...

【技术特征摘要】
1.一种基于视觉和雷达融合的前方碰撞预警方法，其特征在于，包括以下步骤：步骤S100，雷达工作，获取车辆周边的障碍物信号；步骤S110，将雷达获取信号按照一级碰撞区域、二级碰撞区域、三级碰撞区域进行分类；步骤S120，判断二级碰撞区域内是否存在雷达信号，若是则对该雷达信号的障碍物进行跟踪，并进行步骤S130，若否则认定该区域无目标，进行步骤S130；步骤S130，判断一级碰撞区域是否有障碍物信号，若有则进行步骤S140，否则进行步骤S300；步骤S140，将雷达信号按照距离排序；步骤S150，选择未使用视觉确认的最近发生碰撞的雷达信号；步骤S160，通过雷达信号确定视觉识别的区间，包括以下步骤：步骤S161，划定动态视觉识别区域，所述动态的视觉识别区域通过以下计算式确定：横向范围：lobstacle*sin(θobstacle-1.0)-2.4～lobstacle*sin(θobstacle+1.0)+2.4纵向范围：lobstacle*cos(θobstacle+1.0)*(1-15％)-0.5～lobstacle*cos(θobstacle-1.0)*(1+15％)+0.5式中：lobstacle为雷达探测到障碍物距离；θobstacle为雷达探测到障碍物的角度；2.4为最大车宽；15％为视觉最大误差；0.5为雷达探测距离误差；根据以上公式确定视觉识别的地平面方形区域；步骤S162，坐标转换；将上述视觉识别的地平面方形区域的四个点的坐标转换至图像坐标系四个点像素坐标，从而确定视觉识别的梯形区域；步骤S170，使用Haar特征视觉识别梯形区域；步骤S180，通过Haar特征视觉识别结果，判断该雷达目标是否为车辆，若是则进行步骤S200，否则进行步骤S190；步骤S190，判断区间内雷达信号，是否全部使用视觉判断完毕；若是则进行步骤S410,否则返回步骤S150；步骤S200，数据匹配算法，具体步骤如下：步骤S201，将视觉采集模块采集的纵向距离与雷达采集的目标与车辆的纵向距离区间进行匹配，匹配成功，则定义“匹配等级”为1，并进行步骤S202；否则为0；步骤S202，“匹配等级”为1后，通过横向位置误差区间匹配，匹配成功，则定义“匹配等级”加1，并进行步骤S203；否则为0；步骤S203，通过视觉采集模块跟踪下一帧图像，视觉识别障碍物为车辆后可求取目标车辆的速度信息，通过与雷达采集的车辆速度信息进行匹配，如果匹配成功，“匹配等级”加1，并进行步骤S204；否则为0；步骤S204，定义“匹配成功标志位”为1，判断“匹配等级”是否为3，若是则回到步骤S160跟踪下一帧数据，匹配成功后，“匹配成功标志位”加1,若否则匹配不成功，结束数据匹配并进行步骤S180；步骤S205，判断“匹配成功标志位”是否大于1，若是则表明雷达与视觉的信号匹配成功，使用雷达的纵向距离为准，使用视觉的横向距离为准，充分发挥传感器的优势，对目标进行精确定位，并进行步骤S220；若否则匹配不成功，结束数据匹配并进行步骤步骤S210；步骤S210,选择视觉识别物体位置状态参数，进入步骤S230；步骤S220，跟踪算法，本专利通过卡尔曼滤波方程对匹配成功的数据进行滤波跟踪，并进入S230；步骤S230，报警，所述报警的方式为：通过前后两帧物体位置信息可求出物体横向运动的速率，通过物体...

【专利技术属性】
技术研发人员：陈军，王延帅，袁江，
申请(专利权)人：扬州瑞控汽车电子有限公司，
类型：发明
国别省市：江苏,32