双目摄像头及毫米波雷达的障碍物信息融合方法及系统技术方案

本发明专利技术公开了一种双目摄像头及毫米波雷达的障碍物信息融合方法，包括：得到摄像头物体列表和毫米波物体列表，物体列表包括物体ID和物体信息；根据车道线方程，计算本车道物体得到摄像头主要物体列表和毫米波主要物体列表，计算本车道两侧车道的物体，得到摄像头次要物体列表和毫米波次要物体列表；对摄像头物体列表和毫米波物体列表中主要物体列表和次要物体列表分别进行融合，查找上一帧融合障碍物列表的物体ID，若查找到物体ID，则更新物体信息；否则，根据物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，更新物体信息；否则，判定为存疑物体。克服了漏检问题，提升传感器信息的可靠性。

【技术实现步骤摘要】
双目摄像头及毫米波雷达的障碍物信息融合方法及系统
本专利技术涉及传感器信息融合处理
，具体地涉及一种双目摄像头及毫米波雷达的障碍物信息融合方法及系统。
技术介绍
辅助驾驶阶段摄像头、毫米波雷达、激光雷达是常用物体识别的传感器。对于Mobileye的预警功能而言，纯视觉方案基本足够。但精度从预警到执行层就变得不足。汽车对于反向控制的容错率很低，这就需要至少两种传感器信息进行冗余验证，实现精度提升，同时，满足在极端天气下一种传感器功能受损时的备用方案。前主流的“摄像头+毫米波雷达”方案：成本、精度、速度之间的最优选择。针对摄像头而言，单目摄像头需要建立并不断维护庞大的样本特征数据库，如果缺乏待识别目标的特征数据，就会导致系统无法识别以及测距，出现漏检问题，很容易导致事故的发生。双目摄像头可通过深度图直接对前方景物进行测距，避免了单目摄像头的缺点，双目在成本上会比单目方案要贵上20％到30％左右。但是它比摄像头与雷达的组合方案要低将近百分之百，并且具有很好的性能。所以未来的传感器融合，双目摄像头加雷达是最具潜力的组合。本专利技术因而来。
技术实现思路
为了解决上述存在的技术问题，本专利技术提供了一种双目摄像头及毫米波雷达的障碍物信息融合方法及系统，对双目摄像头检测的障碍物信息以及毫米波雷达检测到的障碍物信息进行融合匹配，以及跟踪处理，提升障碍物检测的可靠性，降低漏检率、误检率，并提升检测的距离精度，为后续车辆的纵向控制以及车辆的路径规划提供信息。本专利技术的技术方案是：一种双目摄像头及毫米波雷达的障碍物信息融合方法，包括以下步骤：S01：对双目摄像头数据进行处理，得到车道线方程；S02：根据双目摄像头数据得到摄像头物体列表，根据毫米波雷达数据得到毫米波物体列表，其中，物体列表包括物体ID和物体信息；S03：根据车道线方程，计算本车道物体得到摄像头主要物体列表和毫米波主要物体列表，计算本车道两侧车道的物体，得到摄像头次要物体列表和毫米波次要物体列表；S04：对摄像头物体列表和毫米波物体列表中主要物体列表和次要物体列表分别进行融合，查找上一帧融合障碍物列表的物体ID，若查找到物体ID，则更新物体信息；否则，根据物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，更新物体信息；否则，判定为存疑物体。优选的技术方案中，所述步骤S04中根据物体信息中的位置信息计算距离还包括：根据本帧摄像头主要物体列表/摄像头次要物体列表的物体信息中的位置信息和本帧毫米波主要物体列表/毫米波次要物体列表的物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，得到一个新的融合数据。优选的技术方案中，所述步骤S01中以二自由度单车运动学模型，车辆中心为坐标原点，建立车辆坐标系OXY，得到车道线方程：Y＝C0+C1X+C2X2+C3X3其中，C0表示车辆偏移本车道线的距离，向右为负，向左为正；C1表示车辆的车身纵轴与车道线中心切线方向上的夹角，即车道中心线切线方向和OX方向的夹角；C2表示整个车道线曲率相关信息；C3表示整个车道线曲率变化率的信息；对车道线进行卡曼追踪，通过上一帧追踪的估计值生成下一帧的预测值，利用下一帧的预测值和下一帧的测量值进行加权，得到下一帧的估计值。优选的技术方案中，所述步骤S04中的数据采用一个固定的周期进行更新，所述周期大于车道线更新周期小于摄像头更新周期。优选的技术方案中，所述步骤S02还包括，按照物体ID进行查询，如果上一帧物体ID在新一帧物体列表中不存在，则通过卡曼滤波计算出上一帧物体信息，并添加到新一帧的摄像头物体列表或毫米波物体列表中，如果物体ID在新一帧物体列表中存在，则通过上一帧数据和本帧数据计算物体信息。优选的技术方案中，所述步骤S03中通过车道线中心线方程和车道线宽度计算本车道的区域范围，根据物体的横向位置判断物体是否在本车道区域，如果是，则认为是本车道物体；通过车道线中心线方程和车道线宽度计算左车道的区域范围和右车道的区域范围，根据物体的横向位置判断物体是否在左车道区域或右车道区域，如果是，则认为是左车道物体或右车道物体。优选的技术方案中，若车道内物体数量大于阈值，则计算物体与本车的距离，选择距离最近的设定数量的物体。本专利技术还公开了一种双目摄像头及毫米波雷达的障碍物信息融合系统，包括：车道线追踪模块，对双目摄像头数据进行处理，得到车道线方程，对车道线进行卡曼追踪，通过上一帧追踪的估计值生成下一帧的预测值，利用下一帧的预测值和下一帧的测量值进行加权，得到下一帧的估计值；障碍物信息融合模块，根据双目摄像头数据得到摄像头物体列表，根据毫米波雷达数据得到毫米波物体列表，其中，物体列表包括物体ID和物体信息；根据车道线方程，计算本车道物体得到摄像头主要物体列表和毫米波主要物体列表，计算本车道两侧车道的物体，得到摄像头次要物体列表和毫米波次要物体列表；对摄像头物体列表和毫米波物体列表中主要物体列表和次要物体列表分别进行融合，查找上一帧融合障碍物列表的物体ID，若查找到物体ID，则更新物体信息；否则，根据物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，更新物体信息；否则，判定为存疑物体。优选的技术方案中，所述根据物体信息中的位置信息计算距离还包括：根据本帧摄像头主要物体列表/摄像头次要物体列表的物体信息中的位置信息和本帧毫米波主要物体列表/毫米波次要物体列表的物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，得到一个新的融合数据。优选的技术方案中，所述障碍物信息融合模块还包括，按照物体ID进行查询，如果上一帧物体ID在新一帧物体列表中不存在，则通过卡曼滤波计算出上一帧物体信息，并添加到新一帧的摄像头物体列表或毫米波物体列表中，如果物体ID在新一帧物体列表中存在，则通过上一帧数据和本帧数据计算物体信息。与现有技术相比，本专利技术的优点是：1.对双目摄像头检测的障碍物信息以及毫米波雷达检测到的障碍物信息进行融合匹配，以及跟踪处理，提升障碍物检测的可靠性，降低漏检率、误检率，并提升检测的距离精度，为后续车辆的纵向控制以及车辆的路径规划提供信息。本专利技术通过2-2-2模式的障碍物追踪，可以保证追踪的平稳性，不会出现障碍物换道产生追踪突变。2.追踪算法里通过设置存疑物体，可以最大程度排除漏检以及错检。3.对双目摄像头数据和毫米波雷达数据通过卡曼追踪算法，可以实现更为精准的位置以及速度的追踪。4.对摄像头和毫米波进行距离匹配，和上一帧的融合目标列表做距离替换，由近及远将融合障碍物进行更新，可以提升障碍物检测的可靠度。附图说明下面结合附图及实施例对本专利技术作进一步描述：图1为本专利技术二自由度单车运动学模型进行双目摄像头车道线追踪示意图；图2为本专利技术车道线的卡曼追踪示意图；图3为本专利技术障碍物追踪示意图；图4为本专利技术摄像头和毫米波数据融合流程图。本文档来自技高网...

【技术保护点】
1.一种双目摄像头及毫米波雷达的障碍物信息融合方法，其特征在于，包括以下步骤：/nS01：对双目摄像头数据进行处理，得到车道线方程；/nS02：根据双目摄像头数据得到摄像头物体列表，根据毫米波雷达数据得到毫米波物体列表，其中，物体列表包括物体ID和物体信息；/nS03：根据车道线方程，计算本车道物体得到摄像头主要物体列表和毫米波主要物体列表，计算本车道两侧车道的物体，得到摄像头次要物体列表和毫米波次要物体列表；/nS04：对摄像头物体列表和毫米波物体列表中主要物体列表和次要物体列表分别进行融合，查找上一帧融合障碍物列表的物体ID，若查找到物体ID，则更新物体信息；否则，根据物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，更新物体信息；否则，判定为存疑物体。/n

【技术特征摘要】
1.一种双目摄像头及毫米波雷达的障碍物信息融合方法，其特征在于，包括以下步骤：
S01：对双目摄像头数据进行处理，得到车道线方程；
S02：根据双目摄像头数据得到摄像头物体列表，根据毫米波雷达数据得到毫米波物体列表，其中，物体列表包括物体ID和物体信息；
S03：根据车道线方程，计算本车道物体得到摄像头主要物体列表和毫米波主要物体列表，计算本车道两侧车道的物体，得到摄像头次要物体列表和毫米波次要物体列表；
S04：对摄像头物体列表和毫米波物体列表中主要物体列表和次要物体列表分别进行融合，查找上一帧融合障碍物列表的物体ID，若查找到物体ID，则更新物体信息；否则，根据物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，更新物体信息；否则，判定为存疑物体。


2.根据权利要求1所述的双目摄像头及毫米波雷达的障碍物信息融合方法，其特征在于，所述步骤S04中根据物体信息中的位置信息计算距离还包括：根据本帧摄像头主要物体列表/摄像头次要物体列表的物体信息中的位置信息和本帧毫米波主要物体列表/毫米波次要物体列表的物体信息中的位置信息计算距离，若距离小于阈值，则判定为同一个物体，得到一个新的融合数据。


3.根据权利要求1所述的双目摄像头及毫米波雷达的障碍物信息融合方法，其特征在于，所述步骤S01中以二自由度单车运动学模型，车辆中心为坐标原点，建立车辆坐标系OXY，得到车道线方程：
Y＝C0+C1X+C2X2+C3X3
其中，C0表示车辆偏移本车道线的距离，向右为负，向左为正；C1表示车辆的车身纵轴与车道线中心切线方向上的夹角，即车道中心线切线方向和OX方向的夹角；C2表示整个车道线曲率相关信息；C3表示整个车道线曲率变化率的信息；
对车道线进行卡曼追踪，通过上一帧追踪的估计值生成下一帧的预测值，利用下一帧的预测值和下一帧的测量值进行加权，得到下一帧的估计值。


4.根据权利要求1所述的双目摄像头及毫米波雷达的障碍物信息融合方法，其特征在于，所述步骤S04中的数据采用一个固定的周期进行更新，所述周期大于车道线更新周期小于摄像头更新周期。


5.根据权利要求1所述的双目摄像头及毫米波雷达的障碍物信息融合方法，其特征在于，所述步骤S02还包括，按照物体ID进行查询，如果上一帧物体ID在新一帧物体列表中不存在，则通过卡曼滤波计算出上一帧物体信息，并添加到新一帧的摄像头物体列表或毫米波物体列表中，如果物体ID在新一帧物体列表中存在，...

【专利技术属性】
技术研发人员：周坤，曾小韬，孙辉，
申请(专利权)人：清华大学苏州汽车研究院吴江，清华大学，
类型：发明
国别省市：江苏;32