一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法技术

本发明专利技术涉及一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，属于智能交通领域。针对单目相机目标检测获得的目标距离信息不够准确，从而易导致数据关联错误的问题，本发明专利技术提出了角度数据关联方法。将目标状态的一步预测信息从笛卡尔坐标系转换到极坐标系下，设计关联阈值，利用角度信息和扩展信息进行数据关联，并将关联成功的量测信息转换为笛卡尔坐标系表示，采用基于卡尔曼滤波的并行滤波框架进行融合滤波，实现多传感器信息融合的目标状态估计和目标跟踪。状态估计和目标跟踪。状态估计和目标跟踪。

【技术实现步骤摘要】
一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法


[0001]本专利技术属于智能交通领域，涉及一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法。

技术介绍

[0002]智能车辆是指配备感知、推理和执行机构的车辆，依靠先进的传感器系统及强大的通信网络实现人、车、路的信息交换，并主动进行对行驶环境进行行驶环境安全分析和可行驶区域规划。其中，获取交通场景中的目标信息是环境感知部分的重要内容，同时也是智能车辆的基础和关键部分，其为路径规划、决策执行提供信息依据。目标检测和目标跟踪是环境感知中的关键技术，目标检测主要是利用多个车载传感器对车辆周围环境中的目标信息进行获取。而目标跟踪则是以目标检测为基础，对目标的运动状态进行连续估计，解决传感器检测性能不稳定问题，为智能车辆的决策、控制、执行等模块输入连续时刻的目标检测信息。目前常见的用于目标检测的传感器主要有相机、毫米波雷达及激光雷达等，但是每种传感器都存在着一定的缺点，如相机易受环境影响，毫米波雷达无法获取目标形状，激光雷达也容易受天气影响且造价较高等。因此，研究基于多传感器融合的智能车辆目标检测及目标跟踪方法具有重要理论价值及实际意义。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法。在基于相机的目标检测方面，通过标定参数计算出检测目标的宽度和高度。另外，本专利技术提出了角度数据关联方法，利用角度信息和扩展信息进行数据关联，并将关联成功的量测信息转换为笛卡尔坐标系表示，采用基于卡尔曼滤波的并行滤波框架进行融合滤波，从而实现多传感器信息融合的目标状态估计和目标跟踪。
[0004]为达到上述目的，本专利技术提供如下技术方案：
[0005]一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，该方法包括以下步骤：
[0006]S1：利用毫米波雷达和相机采集原始数据；
[0007]S2：对毫米波雷达和相机进行联合标定；
[0008]S3：滤除毫米波雷达采集数据中的干扰目标；
[0009]S4：建立扇形跟踪门；
[0010]S5：利用角度信息和扩展信息进行数据关联；
[0011]S6：采用基于卡尔曼滤波的并行滤波框架进行融合滤波。
[0012]可选的，所述S1中，毫米波雷达安装在车辆正前方牌照旁，相机为单目相机，安装在挡风玻璃上方。
[0013]可选的，所述S2具体包括：
[0014]S21：摄像机的标定：是从三维空间点P的世界坐标(X
w
,Y
w
,Z
w
,1)
T
到其对应的在图
像平面的投影点p的像素坐标(u,v,1)
T
之间的变换，变换公式如下：
[0015][0016]其中，表示旋转矩阵，表示平移矩阵，s为比例因子且s不为0，f为相机的有效焦距，图像平面坐标系的原点是光轴在图像平面上的投影点，该点在像素坐标系中的坐标为(u0,v0)，dX、dY分别表示像素在图像平面坐标系的x轴、y轴方向上的物理尺寸，M称为投影矩阵，表示三维空间中的三维信息与图像平面的二维信息之间的投影变换，为相机的内部参数矩阵，为相机的外部参数矩阵，表示世界坐标系与相机坐标系之间的欧式变换；
[0017]S22：毫米波雷达的标定：毫米波雷达极坐标中，R1和R2分别表示雷达的长距离检测区域半径和短距离检测半径，P点为检测范围内一点，ρ表示目标的距离，θ表示目标角度；将雷达极坐标转换到统一的笛卡尔坐标系，其中，设雷达距地面0.6m；转换关系如下：
[0018][0019]为将雷达目标和融合跟踪结果进行可视化显示，通过上述两个公式将雷达检测结果投影到相机图像上。
[0020]可选的，所述S3具体包括以下步骤：
[0021]S31：车道约束：车道约束是通过判断车道宽度与检测目标的横向距离来对干扰目标进行滤除；首先，建立车辆运动坐标系，车辆的正前方为Y轴，垂直于车辆正前方为X轴，垂直于地面为Z轴，x表示本车与检测目标之间的横向距离，车道宽度为L；
[0022]对于单车道场景，设置横向阈值范围为：
[0023]x≤0.5L
ꢀꢀꢀ
(3)
[0024]对于多车道场景，设置横向阈值范围为：
[0025]x≤L
ꢀꢀꢀ
(4)
[0026]S32：速度约束：由于实际道路情况复杂，仍有部分路边静止障碍物或道路边沿反
射回来的目标信息没有滤除；首先，通过车辆OBD接口解析车辆CAN报文，获取到本车的实时车速；同一时刻内，雷达检测到的路边静止障碍物速度和本车车速相同，且方向相反；利用相对速度滤除对车道宽度约束无效的目标。
[0027]可选的，所述S4具体包括以下内容：
[0028]通过毫米波雷达获取目标的位置和速度状态信息，根据相机标定参数计算出雷达检测目标的宽度和高度，将跟踪目标视为扩展目标进行建模，且采用匀速模型来描述目标的运动状态，采用目标空间模型如下所示：
[0029][0030]其中，表示目标的状态向量，x和y分别指的是X轴和Y轴方向的坐标，和分别指的是目标X和Y轴方向的速度，w和h分别指的是目标的宽度和高度，Z＝[x y w h]T
表示观测向量，X
k+1
表示k+1时刻的目标状态向量，Φ表示状态转移矩阵，ω
k
表示过程噪声，Z
k+1
表示k+1时刻观测向量，H表示观测矩阵，v
k
表示观测噪声；
[0031]在数据关联时，若仅有一个量测数据落入跟踪门内，则直接利用该量测数据进行状态更新，若有多个量测数据落入跟踪门内，则借助数据关联方法来确定最终用于目标状态更新的量测；采用极坐标下的数据关联方法，扇形跟踪门的径向距离和角度计算公式如下所示：
[0032][0033]其中，ρ
G
表示跟踪门的径向距离，θ
G
表示跟踪门角度，σ
ρ
表示径向距离均方误差，σ
θ
表示角度均方误差，F表示跟踪质量指标，表示航迹的确认，维持和撤销过程，C表示与传感器扫描周期和目标速度有关的参数。
[0034]可选的，所述S5具体包括以下步骤：
[0035]S51：首先，对目标前一时刻的状态进行一步预测得到当前时刻的目标状态预测值，根据k时刻目标状态和协方差预测目标k+1时刻状态，计算公式如下：
[0036][0037]其中，表示目标k+1时刻状态，P
k+1|k
表示进行一步预测协方差，Q表示过程噪声的协方差，Γ表示过程噪声分布矩阵；
[0038]S52：利用坐标转换关系θ＝arctan(y/x)将毫米波雷达的k时刻量测和单目相机的k时刻的量测转换到极坐标下，得到极坐标下的雷达量测和相机的量测目标状态的一步预测值由转换成根据传感器的性能和智能车辆目标跟踪精度要求，设置最小角度阈值和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：该方法包括以下步骤：S1：利用毫米波雷达和相机采集原始数据；S2：对毫米波雷达和相机进行联合标定；S3：滤除毫米波雷达采集数据中的干扰目标；S4：建立扇形跟踪门；S5：利用角度信息和扩展信息进行数据关联；S6：采用基于卡尔曼滤波的并行滤波框架进行融合滤波。2.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S1中，毫米波雷达安装在车辆正前方牌照旁，相机为单目相机，安装在挡风玻璃上方。3.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S2具体包括：S21：摄像机的标定：是从三维空间点P的世界坐标(X
w
,Y
w
,Z
w
,1)
T
到其对应的在图像平面的投影点p的像素坐标(u,v,1)
T
之间的变换，变换公式如下：其中，表示旋转矩阵，表示平移矩阵，s为比例因子且s不为0，f为相机的有效焦距，图像平面坐标系的原点是光轴在图像平面上的投影点，该点在像素坐标系中的坐标为(u0,v0)，dX、dY分别表示像素在图像平面坐标系的x轴、y轴方向上的物理尺寸，M称为投影矩阵，表示三维空间中的三维信息与图像平面的二维信息之间的投影变换，为相机的内部参数矩阵，为相机的外部参数矩阵，表示世界坐标系与相机坐标系之间的欧式变换；S22：毫米波雷达的标定：毫米波雷达极坐标中，R1和R2分别表示雷达的长距离检测区域半径和短距离检测半径，P点为检测范围内一点，ρ表示目标的距离，θ表示目标角度；将雷达极坐标转换到统一的笛卡尔坐标系，其中，设雷达距地面0.6m；转换关系如下：
为将雷达目标和融合跟踪结果进行可视化显示，通过上述两个公式将雷达检测结果投影到相机图像上。4.根据权利要求1所述的一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法，其特征在于：所述S3具体包括以下步骤：S31：车道约束：车道约束是通过判断车道宽度与检测目标的横向距离来对干扰目标进行滤除；首先，建立车辆运动坐标系，车辆的正前方为Y轴，垂直于车辆正前方为X轴，垂直于地面为Z轴，x表示本车与检测目标之间的横向距离，车道宽度为L；对于单车道场景，设置横向阈值范围为：x≤0.5L
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)对于多车道场景，设置横向阈值范围为：x≤L
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)S32：速度约束：由于实际道路情况复杂，仍有部分路边静止障碍物或道路边沿反射回来的目标信息没有滤除；首先，通过车辆OBD接口解析车辆CAN报文，获取到本车的实时车速；同一时刻内，雷达检测到的路边静止障碍物速度和本车车速相...

【专利技术属性】
技术研发人员：张艺，石通，周冬，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：