一种雷达与视觉检测在线联合标定方法技术

本发明专利技术公开了一种雷达与视觉检测在线联合标定方法，包括步骤：S1、检测视频图像中的车辆目标并构造3D边界框，获取目标轨迹信息后提取第一消失点和第二消失点；S2、根据相机向世界坐标系的外参矩阵将图像像素点映射到世界坐标系；S3、基于世界坐标系目标数据和毫米波雷达目标数据，采用椭圆关联门和KNN算法找到毫米波雷达目标和视觉目标的匹配点；S4、在毫米波雷达目标和视觉目标的匹配点的基础上，采用PnP原理和最小化重投影误差优化相机相对于雷达外参；该方法能够自动地确定图像坐标系与毫米波雷达坐标系的转换关系，且毫米波雷达和相机能够部署在道路上方的任意位置，该方法只利用道路的车辆目标，并不依赖于车道线、路牌等参照物实现标定。等参照物实现标定。等参照物实现标定。

【技术实现步骤摘要】
一种雷达与视觉检测在线联合标定方法


[0001]本专利技术涉及多源异构数据融合感知领域，具体涉及一种雷达与视觉检测在线联合标定方法。

技术介绍

[0002]针对交通、安防对目标和环境感知的需求，采用毫米波雷达、视觉等传感器和信息融合技术实现多目标检测跟踪识别已成为主流感知方案。数据的时间、空间同步是将毫米波雷达目标与视觉目标关联的前提，联合标定精度直接影响融合感知精度以及目标和环境的数字化重建效果。目前，授时技术发展日趋成熟，时间同步已能满足低成本高精度需求，但现有毫米波雷达与视觉联合标定方法存在通用性不强、缺乏成熟简便的自动标定方法等问题。
[0003]对于交通和安防监控，为达到较好的覆盖范围、清晰度，通常在外场安装调试，进而影响毫米波雷达和相机的内参、外参，但采用基于棋盘格等标定物的相机标定方法，较难适应类似的室外工程应用。在实际应用中，为应对相机内参变化、安装平台抖动等情况，自动更新标较参数功能并提出毫米波雷达与视觉联合自动标定方法的需求愈加迫切。

技术实现思路

[0004]本专利技术的目的是解决目前的毫米波雷达与视觉联合标定方法通用性不强、缺乏成熟简便的自动标定方法的问题。
[0005]为实现上述目的，本专利技术提出了一种雷达与视觉检测在线联合标定方法，利用车辆目标几何尺寸和运动轨迹，实现相机自动标定，解决交通和安防监控对标定物强依赖的问题；再采用基于最近邻方法的数据关联实现毫米波雷达目标与视觉目标的匹配，最后利用PnP原理和最小化重投影误差获得相机内外参数的最优解，解决毫米波雷达和视觉检测在异步采样条件下的联合标定问题，具体包括以下步骤：
[0006]S1、检测视频图像中的车辆目标并构造3D边界框；获取目标轨迹信息，提取第一消失点；采用菱形空间累加投票提取第二消失点；
[0007]S2、基于第一消失点和第二消失点计算相机焦距的初值，再根据相机向世界坐标系的外参矩阵将图像像素点映射到世界坐标系；
[0008]S3、基于步骤S2，将车辆目标在相机中的坐标变换到世界坐标系中，得到世界坐标系目标数据；采用毫米波雷达对车辆目标采样，得到车辆目标的毫米波雷达目标数据；基于世界坐标系目标数据和毫米波雷达目标数据，采用椭圆关联门和KNN算法找到毫米波雷达目标和视觉目标的匹配点；
[0009]S4、在毫米波雷达目标和视觉目标的匹配点的基础上，采用PnP原理和最小化重投影误差优化相机相对于雷达外参。
[0010]其中，所述步骤S1包括以下步骤：
[0011]S11、通过相机获得视频图像流后，采用YOLO神经网络检测视频图像中的车辆目
标，确定车辆目标类别；
[0012]S12、采用跟踪算法DeepSORT获取视频图像中车辆目标的目标轨迹信息，所述目标轨迹信息包括参考点和图像中目标的边界框序列；提取车辆边界框底部的中心作为参考点，根据车辆目标的边界框序列和选定的参考点，获得目标的参考点序列；
[0013]S13、构造车辆目标的3D边界框；
[0014]S14、根据车辆目标的参考点序列，提取第一消失点；
[0015]S15、根据图像像素点的梯度和特征值分解，提取第二消失点。
[0016]其中，所述车辆目标类别包括轿车、面包车、厢式货车、卡车、公交车；各个车辆目标类别对应不同的3D边界框的长宽高尺寸。
[0017]其中，所述步骤S14具体为：利用车辆目标参考点序列，采用最小二乘拟合出沿道路行驶方向的直线方向，将车辆参考点序列构成的直线转换到菱形空间，并进行累加投票，得到的菱形空间中的极大点为第一消失点u。
[0018]其中，所述步骤S15进一步包括以下步骤：
[0019]S151、计算视频图像上每个像素点的梯度，取其中最大梯度值的75％作为阈值，提取图像中的梯度大于阈值的像素点作为候选点；
[0020]S152、在9
×
9邻域中，取梯度值最大的候选点为种子点，采用特征值分解该种子点的邻域矩阵，其中，分解后得到的特征值中较大值对应的特征向量为边缘的方向；
[0021]S153、剔除与第一消失点方向一致的边缘，将剔除后剩余的边缘和种子点转换到菱形空间，并进行累加投票，得到的菱形空间中的极大点为第二消失点v。
[0022]其中，所述步骤S2进一步包括以下步骤：
[0023]S21、基于第一消失点和第二消失点计算得到相机焦距的初值
[0024]S22、通过三维空间坐标P将图像像素点映射到世界坐标系，其中p＝[p
x
，p
y
，f]，其中，p
x
，p
y
分别为像素点的横轴和纵轴的坐标，f为相机焦距，λ为尺度参数，其中w＝u
×
v。
[0025]其中，所述步骤S4进一步包括以下步骤：
[0026]S41、从视频图像中选出5个目标参考点，且其中任意3个目标参考点不共线；
[0027]S42、选择其中3个点P
i
＝[P
i
.x
w
，P
i
.y
w
，P
i
.z
w
]T
，i＝1，2，3；
[0028]S43、以P1为原点、P2在X轴正半轴、P3在XOY平面第一象限建立参考坐标系，设定从相机坐标系和雷达坐标系到所述建立的参考坐标系的变换矩阵分别为M
c
和M
w
，从而外参矩阵为E＝M
c
‑1M
w
；
[0029]S44、计算雷达坐标系到参考坐标系的变换矩阵M
w
＝T
rx
T
ry
T
rz
T
t
，其中，T
t
是将点P1变为原点的变换，在T
t
变换下，P2、P3点变换为Q2、Q3；T
rz
是将Q2、Q3变换为R2、R3的变换，其中变换后的R2需满足R2.y
w
＝0且R2.x
w
＞0；T
ry
是将R2、R3变换为S2、S3的变换，其中变换后的S2需满足S2.z
w
＝0；T
rx
是将S3绕X轴旋转的变换，使得S3.z
w
＝0；
[0030]S45、计算相机坐标系到参考坐标系的变换矩阵M
c
，M
c
的计算过程与M
w
相同，仅需将输入点换为相机坐标系；
[0031]S46、计算并检验外参矩阵候选值，依据该外参矩阵候选值计算旋转角，从中选择
符合工程合理性的外参矩阵候选值作为外参矩阵；
[0032]S47、另外选择三个不同的点P
i
，重复步骤S44
‑
S46，得到多个外参矩阵，求其平均值作为最终解。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种雷达与视觉检测在线联合标定方法，其特征在于，包括以下步骤：S1、检测视频图像中的车辆目标并构造3D边界框；获取目标轨迹信息，提取第一消失点；采用菱形空间累加投票提取第二消失点；S2、基于第一消失点和第二消失点计算相机焦距的初值，再根据相机向世界坐标系的外参矩阵将图像像素点映射到世界坐标系；S3、基于步骤S2，将车辆目标在相机中的坐标变换到世界坐标系中，得到世界坐标系目标数据；采用毫米波雷达对车辆目标采样，得到车辆目标的毫米波雷达目标数据；基于世界坐标系目标数据和毫米波雷达目标数据，采用椭圆关联门和KNN算法找到毫米波雷达目标和视觉目标的匹配点；S4、在毫米波雷达目标和视觉目标的匹配点的基础上，采用PnP原理和最小化重投影误差优化相机相对于雷达外参。2.如权利要求1所述的一种雷达与视觉检测在线联合标定方法，其特征在于，所述步骤S1包括以下步骤：S11、通过相机获得视频图像流后，采用YOLO神经网络检测视频图像中的车辆目标，确定车辆目标类别；S12、采用跟踪算法DeepSORT获取视频图像中车辆目标的目标轨迹信息，所述目标轨迹信息包括参考点和图像中目标的边界框序列；提取车辆边界框底部的中心作为参考点，根据车辆目标的边界框序列和选定的参考点，获得目标的参考点序列；S13、构造车辆目标的3D边界框；S14、根据车辆目标的参考点序列，提取第一消失点；S15、根据图像像素点的梯度和特征值分解，提取第二消失点。3.如权利要求2所述的一种雷达与视觉检测在线联合标定方法，其特征在于，所述车辆目标类别包括轿车、面包车、厢式货车、卡车、公交车；各个车辆目标类别对应不同的3D边界框的长宽高尺寸。4.如权利要求2所述的一种雷达与视觉检测在线联合标定方法，其特征在于，所述步骤S14具体为：利用车辆目标参考点序列，采用最小二乘拟合出沿道路行驶方向的直线方向，将车辆参考点序列构成的直线转换到菱形空间，并进行累加投票，得到的菱形空间中的极大点为第一消失点u。5.如权利要求4所述的一种雷达与视觉检测在线联合标定方法，其特征在于，所述步骤S15进一步包括以下步骤：S151、计算视频图像上每个像素点的梯度，取其中最大梯度值的75％作为阈值，提取图像中的梯度大于阈值的像素点作为候选点；S152、在9
×
9邻域中，取梯度值最大的候选点为种子点，采用特征值分解该种子点的邻域矩阵，其中，分解后得到的特征值中较大值对应的特征向量为边缘的方向；S153、剔除与第一消失点方向一致的边缘，将剔除后剩余的边缘和种子点转换到菱形空间，并进行累加投票，得到的菱形空间中的极大点为第二消失点v。6.如权利要求5所述的一种雷达与视觉检测在线联合标定方法，其特征在于，所述步骤S2进一步包括以下步骤：
S21、基于第一消失点和第二消失点计算得到相机焦距的初值S22、通过三维空间坐标P将图像像素点映射到世界坐标系，其中p＝[p
x
，p
y
，f]，其中，p
x
，p
y
分别为像素点的横轴和纵轴的坐标，f为相机焦距，λ为尺度参数，其中w＝u
×
v。7.如权利要求6所述的一种雷达与视觉检测在线联合标定方法，其特征在于，所述步骤S4进...

【专利技术属性】
技术研发人员：尹洁珺，陈潜，李小柳，柯文雄，席光荣，付朝伟，魏维伟，
申请(专利权)人：上海神添实业有限公司，
类型：发明
国别省市：