一种面向智能车的毫米波雷达与单目相机信息融合方法技术

本发明专利技术请求保护一种面向智能车的毫米波雷达与单目相机信息融合方法，主要包括三个阶段：第一阶段，首先在智能车上安装并调整相机与毫米波雷达位置，然后用张正友标定法获取相机内部参数，最后将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下；第二阶段，在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到统一的车辆坐标系下并排除无效目标；第三阶段，用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标，实现多目标识别。本发明专利技术目标识别率高，安全性可靠，可有效提高智能汽车对环境感知的实用性。

An Information Fusion Method of Millimeter Wave Radar and Monocular Camera for Intelligent Vehicle

The invention requests to protect an information fusion method of millimeter wave radar and monocular camera for smart car, which mainly includes three stages: the first stage is to install and adjust the position of the camera and the millimeter wave radar on the smart car, then obtain the internal parameters of the camera by Zhang Zhengyou calibration method, and finally project the imaging plane of the camera to the overhead view to meet the target identified by two sensors. Information is in the same vehicle coordinate system; in the second stage, image-based multi-target recognition model is trained by in-depth learning method on-line, real-time data are collected by radar and camera on-line during intelligent vehicle driving, and target information is transformed into a unified vehicle coordinate system and invalid targets are eliminated; in the third stage, global nearest neighbor matching algorithm is used to judge whether the target is one or not. To achieve multi-target recognition, extended Kalman filter is used to track matched and unmatched targets. The target recognition rate of the invention is high, the safety is reliable, and the practicability of the environment perception of the intelligent vehicle can be effectively improved.

【技术实现步骤摘要】
一种面向智能车的毫米波雷达与单目相机信息融合方法
本专利技术属于多传感器信息融合领域，具体涉及一种毫米波雷达与相机信息融合方法。
技术介绍
智能汽车是在普通汽车的基础上增加了先进的传感器(雷达，相机)、控制器、执行器等装置，通过车载传感系统和信息终端实现与人、车、路等的智能信息交换，使汽车具备智能的环境感知能力，能够自动分析汽车行驶的安全及危险状态，并使汽车按照人的意愿到达目的地，最终实现替代人来操作的目的。目前可识别智能车周围障碍物的传感器有相机，热成像仪，毫米波雷达，激光雷达，超声波雷达等。相机是实际生活中应用最广泛的传感器，通过摄像头感知环境并识别目标是当前最普遍的途径。然而，采用相机的算法会受到复杂环境如天气、路况信息、光照等因素的影响，常常会存在检测不到目标或者遗漏目标的情况。车载毫米波雷达能克服环境带来的不利因素，并能测出目标的位置和与雷达的距离，但识别的范围较窄，不能识别交通标识与交通信号。虽然现在的汽车上或多或少的会安装摄像头或者毫米波雷达，但都是单独使用，没能充分利用不同传感器的优势。由于环境复杂性，无法通过单一传感器实现所有环境信息的感知和目标的识别，对于智能汽车，同质信号融合已形成较成熟的理论方法，同一目标融合不同传感器信号提高准确性是一方面，更重要的是如何利用不同传感器的优势，弥补其它传感器的不足。当前基于毫米波雷达与相机信息融合方法中，通常将其中一个传感器作为主传感器，将它检测的目标位置信息生成可供其它传感器识别的感兴趣区域(RegionofInterest,ROI)，然后用其它传感器来验证ROI内是否包含目标，如专利申请号CN201710100068.0，CN107336724A，CN201710970932.2等。然而，这种方法本质上只是对单一传感器目标的一种验证，对于未检测到的目标无法判断，无法充分发挥传感器的作用。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种，提升目标识别的精度和减小环境对目标识别的影响、减少对目标的重复利用的面向智能车的毫米波雷达与单目相机信息融合方法。本专利技术的技术方案如下：一种面向智能车的毫米波雷达与单目相机信息融合方法，假定地面是平坦的，毫米波雷达安装在智能车前保险杠，相机安装在车顶或后视镜，雷达与相机在同一车轴线上，其包括以下步骤：标定阶段：安装并调整相机与毫米波雷达位置，利用张正友标定法获取相机内部参数，然后将相机成像平面投影到俯视图，以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下；识别阶段：在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到同一车辆坐标系下并排除无效目标；融合阶段：用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标。进一步的，所述标定阶段利用张正友标定法获取相机内部参数，具体过程包括：1)、当相机安装位置固定后，在相机前方拍摄不同角度的若干张棋盘格标定板的图像；2)、检测出棋盘格标定板的图像中的特征点；3)、根据检测的特征点位置信息，在不考虑畸变的情况下用直接法求出相机内部参数初值；4)、用非线性方法优化包括畸变系数在内的所有相机内部参数。进一步的，所述将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下，其具体步骤包括：1)、测出相机光心到地面的投影点。2)、在地面平铺四张棋盘格标定图案的标定纸，分别测出棋盘格黑白块交叉点在车辆坐标系下的坐标(x,y)以及在图像中的坐标(u,v)；3)、利用最小二乘法求出相机成像平面到俯视图的转移矩阵P，其表达式为：进一步的，所述识别阶段的具体步骤为：1)、线下采集用于目标识别的训练样本，标注出真实目标的位置和类别信息；2)、将样本图像作为深度神经网络的输入，标注信息作为网络的输出，经过多次迭代得到多目标识别模型参数；3)、线上实时采集图像，并根据深度神经网络模型和参数获取图像中各个目标的位置和类别信息；4)、根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度；5)、根据雷达数据协议，对毫米波雷达的数据进行解算，排除虚假目标，返回多个目标的距离信息和速度信息。进一步的，所述步骤4)根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度，具体包括：根据所得转移矩阵P，将目标位置信息转化为到相机的水平距离和垂直距离；根据前后两幅图像的时间差求出目标的速度，计算公式为：tk和tk-1分别表示在k和k-1时刻的时间戳，xk和yk分别表示目标在k时刻到相机的水平距离和垂直距离，和分别表示目标在k时刻相对于相机的水平方向速度和垂直方向速度。进一步的，所述用全局最邻域匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标，步骤具体为：1)、将毫米波雷达有效目标序列信息R＝{r1r2…rm}与相机识别的有效目标序列信息C＝{c1c2…cn}进行全局最近邻匹配，rm表示第m个雷达目标，cn表示第n个相机目标，得到匹配的目标、未匹配的雷达目标与未匹配的相机目标；2)、分别跟踪匹配的目标、未匹配的雷达目标与未匹配的相机目标；3)、判断跟踪的目标是否为有效目标，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未匹配的雷达目标，这在下一时刻回归到相应有效目标序列中等待重新匹配，否则视为无效目标。进一步的，所述用全局最邻域匹配算法判断目标是否一致，其算法实现过程为：目标函数：约束条件：其中m表示雷达目标个数，n表示相机目标个数，cij表示雷达目标与相机目标距离的代价矩阵的元素。第i个雷达目标与第j个相机目标距离dij的阈值G是它们匹配的必要条件，ξij表示是否是必要条件，ξij＝1表示是，ξij＝0表示否。进一步的，所述通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标,具体为：当完成目标匹配后，匹配的目标将会被跟踪以保证目标在时间上的连续性，对于没有匹配的目标，同样需要进行跟踪；首先确定目标的状态向量，对于未匹配的雷达目标，它的状态包括目标在水平面两个方向的距离和速度，即：表示第i个未匹配雷达目标在第k时刻的状态向量；xr和yr分别表示雷达目标到相机的水平距离和垂直距离，和分别表示雷达目标的水平方向速度和垂直方向速度。对于未匹配相机目标，其状态向量为：表示第i个未匹配相机目标在第k时刻的状态向量，xc和yc分别表示相机目标到相机的水平距离和垂直距离，和分别表示相机目标的水平方向速度和垂直方向速度。class表示目标类别，相机目标不能直接提供速度信息，只有位置信息和类别信息，相机目标的速度计算公式为：tk和tk-1分别表示在k和k-1时刻的时间戳；对于匹配的目标，根据传感器的平均误差对每个测量值分配权值，当δrx＜δcx，δry＜δcy时其中δrx和δry分别表示雷达目标在x和y方向的平均误差，δcx和δcy分别表示相机目标在x和y方向上的平均误差；定义其状态向量为利用扩展卡尔曼滤波分别跟踪这些目标，在目标跟踪的过程中，如果连续跟踪到匹配的目标，则该目标为有效目标，否则为无效目标；如果连续跟踪到未匹配的相机目标或未本文档来自技高网...

【技术保护点】
1.一种面向智能车的毫米波雷达与单目相机信息融合方法，假定地面是平坦的，毫米波雷达安装在智能车前保险杠，相机安装在车顶或后视镜，雷达与相机在同一车轴线上，其特征在于，包括以下步骤：标定阶段：安装并调整相机与毫米波雷达位置，利用张正友标定法获取相机内部参数，然后将相机成像平面投影到俯视图，以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下；识别阶段：在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到同一车辆坐标系下并排除无效目标；融合阶段：用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标。

【技术特征摘要】
1.一种面向智能车的毫米波雷达与单目相机信息融合方法，假定地面是平坦的，毫米波雷达安装在智能车前保险杠，相机安装在车顶或后视镜，雷达与相机在同一车轴线上，其特征在于，包括以下步骤：标定阶段：安装并调整相机与毫米波雷达位置，利用张正友标定法获取相机内部参数，然后将相机成像平面投影到俯视图，以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下；识别阶段：在线下用深度学习方法训练基于图像的多目标识别模型，线上在智能车行驶的过程中雷达与相机实时采集数据，把识别的目标信息转化到同一车辆坐标系下并排除无效目标；融合阶段：用全局最近邻匹配算法判断目标是否一致，通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标。2.根据权利要求1所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述标定阶段利用张正友标定法获取相机内部参数，具体过程包括：1)、当相机安装位置固定后，在相机前方拍摄不同角度的若干张棋盘格标定板的图像；2)、检测出棋盘格标定板的图像中的特征点；3)、根据检测的特征点位置信息，在不考虑畸变的情况下用直接法求出相机内部参数初值；4)、用非线性方法优化包括畸变系数在内的所有相机内部参数。3.根据权利要求2所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述将相机成像平面投影到俯视图，以满足两个传感器识别的目标信息在同一车辆坐标系下，其具体步骤包括：1)、测出相机光心到地面的投影点。2)、在地面平铺四张棋盘格标定图案的标定纸，分别测出棋盘格黑白块交叉点在车辆坐标系下的坐标(x,y)以及在图像中的坐标(u,v)；3)、利用最小二乘法求出相机成像平面到俯视图的转移矩阵P，其表达式为：4.根据权利要求3所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述识别阶段的具体步骤为：1)、线下采集用于目标识别的训练样本，标注出真实目标的位置和类别信息；2)、将样本图像作为深度神经网络的输入，标注信息作为网络的输出，经过多次迭代得到多目标识别模型参数；3)、线上实时采集图像，并根据深度神经网络模型和参数获取图像中各个目标的位置和类别信息；4)、根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度；5)、根据雷达数据协议，对毫米波雷达的数据进行解算，排除虚假目标，返回多个目标的距离信息和速度信息。5.根据权利要求4所述的面向智能车的毫米波雷达与单目相机信息融合方法，其特征在于，所述步骤4)根据转移矩阵P，将相机目标在图像上的位置信息转化到车辆坐标系；根据前后两幅图像的时间差求出目标的速度，具体包括：根据所得转移矩阵P，将目标位置信息转化为到相机的水平距离和垂直距离；根据前后两幅图像的时间差求出目标的速度，计算公式为：tk和tk-1分别表示在k和k-1时刻的时间戳，xk和yk分别表示目标在k时刻到相机的水平距离和垂直距离，...

【专利技术属性】
技术研发人员：冯明驰，陈云坤，郑太雄，张浩坤，彭文冠，游双林，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50