一种毫米波雷达和相机联合标定方法技术

本发明专利技术公开一种毫米波雷达和相机联合标定方法，属于高级辅助驾驶系统中的多传感器融合领域。所述方法为：确定车辆纵向对称平面并在车身和地面上做出标记。调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行。获取相机的内、外参数，保证相机的安装角度符合要求。分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标系，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。本发明专利技术解决了毫米波雷达和相机的空间联合标定中雷达检测目标坐标投影到像素坐标系时雷达检测目标高度信息丢失的问题，能够在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。目标的高度信息。目标的高度信息。

【技术实现步骤摘要】
一种毫米波雷达和相机联合标定方法


[0001]本专利技术属于先进辅助驾驶系统中的多传感器融合领域，特别涉及一种毫米波雷达和相机的联合标定方法。

技术介绍

[0002]先进辅助驾驶系统是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。在这种背景下，多种车载传感器的融合是一种发展趋势，它将大大提高车辆对环境的感知能力，提高汽车的安全性能。其中测距传感器和图像传感器的融合能发挥二者的长处，在获取环境信息，进行目标识别等方面优势明显。毫米波雷达相较于其他测距传感器具有探测范围广，受天气影响小等优点，在汽车上使用的比较普遍。在多传感器探测系统中，要有一个统一的坐标系，因此在使用毫米波雷达和相机进行传感器融合前必须对两种传感器进行联合空间标定，以确保两种传感器获得的数据有一个统一的参照标准，并能互相转换。
[0003]为了实现毫米波雷达信息和相机信息在空间上的统一，需要转换两者之间的坐标系。相机所获信息在图像像素坐标系下而毫米波雷达所获信息在雷达投影坐标系下。所以转换毫米波雷达投影坐标系和机器视觉坐标系是两者空间融合的基础和前提。相机和毫米波雷达共涉及的坐标系有三维世界坐标系、毫米波雷达投影坐标系、相机坐标系和图像像素坐标系。通过不同坐标系之间的相互转换从而实现信息的空间融合。同时借助摄像机的标定来修正信息融合，从而提高信息融合的准确性。由于辅助驾驶前向视觉系统以视觉为主，因此只需将毫米波雷达投影坐标系下的测量点通过坐标系转换到相机对应的像素坐标下即可实现两者的空间同步。
[0004]目前国内外测距传感器和相机联合空间标定的方法比较少，这其中激光雷达和相机的联合标定的方法又占了多数。由于毫米波雷达的角度测量精度比激光雷达低，且测量结果不稳定，因此激光雷达和相机的联合标定方法并不适用于毫米波雷达和相机的联合标定。也有一些方法校准了车载毫米波雷达和相机的安装角度，标定了摄像头的内、外参数，建立了雷达投影坐标系到图像坐标系的转换关系，但该方法假设雷达检测目标的高度信息为0，从而造成了雷达检测目标的高度信息丢失。
[0005]因此，如何在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留雷达检测目标的高度信息成为本领域的研究人员亟需解决的技术问题。

技术实现思路

[0006]本专利技术公开了一种毫米波雷达和相机联合标定方法，利用车辆纵向对称平面为基准，实现了毫米波雷达和相机的空间联合标定，在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。
[0007]本专利技术的技术方案是：一种毫米波雷达和相机联合标定方法，所述方法的具体步
骤如下：
[0008]Step1、确定车辆纵向对称平面，并在车身和地面上做出对称平面的标记；
[0009]Step2、调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行；
[0010]Step3、标定相机的内参数，标定过程采用张正友标记法，使用相机采集不同角度的标准棋盘格图像，通过MATLAB标定工具计算得到相机的光轴偏移量c
x
、c
y
，焦距f
x
、f
y
；调整相机，使得相机的水平角和横摆角为零，最后进行相机剩余外参数标定；
[0011]Step4、分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标系，利用坐标系转换知识，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。
[0012]优选的，本专利技术所述所使用的毫米波雷达为德尔福ESR，所使用的相机为LI
‑
USB30
‑
AR023ZWDRB；所述MATLAB版本为Matlab2019a。
[0013]所述棋盘格为机器视觉棋盘格光学标定板，型号为DG
‑
720
‑
12.9
‑
60mm，黑白格大小为60x60mm。
[0014]所述标定工具为Matlab2019a的APP中图像处理和计算机视觉下的Camera Calibrator。
[0015]优选的，本专利技术所述毫米波雷达在安装时需要确保其水平角度和俯仰角度为零。
[0016]优选的，横摆角标定系数k≤0.01m时，雷达探测表面的法向量与车辆纵向平面平行，其中：
[0017]k＝|d1‑
d2|
[0018]d1和d2为放置车辆正前方的两处障碍物的横向距离。
[0019]优选的，本专利技术所述雷达投影坐标系的原点为雷达探测中心点在地面上的投影点，x
rw
轴指向车身右侧，y
rw
轴指向车辆前进方向，z
rw
轴为竖直方向；相机投影坐标标系O
cw
‑
x
cw
y
cw
z
cw
的原点为相机光心在地面的投影点，x
cw
轴指向车身右侧，y
cw
轴指向车辆前进方向，z
cw
轴为竖直方向，雷达投影坐标系与相机投影坐标系是空间中相互平行的2个坐标系，2个坐标系之间有如下关系：
[0020][0021]优选的，本专利技术所述雷达投影坐标系中的任意一点(x
rw
，y
rw
，z
rw
)均可通过以下公式转换到图像像素坐标系的像素坐标(x
p
，y
p
)：
[0022][0023]其中：c
x
、c
y
为光轴偏移量；f
x
、f
y
为焦距，为相机内参数，通过标定获得；L
x
、L
y
分别为雷达投影坐标系和相机投影坐标系x轴之间的间距和y轴之间的间距，可以通过测量获得。
[0024]毫米波雷达和相机联合标定的主要任务是将毫米波雷达投影坐标系下的测量点通过坐标系转换到相机对应的像素坐标下即可实现两者的空间同步；本专利技术利用车辆纵向对称平面为基准，实现了毫米波雷达和相机的空间联合标定，在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。
[0025]本专利技术的有益效果是：本专利技术与现有技术相比，主要解决了毫米波雷达和相机的空间联合标定中雷达检测目标坐标投影到像素坐标系时雷达检测目标高度信息丢失的问题，能够在保证毫米波雷达检测目标投影到像素坐标系坐标转换精度的同时，保留了雷达检测目标的高度信息。
附图说明
[0026]图1为本专利技术总流程图。
[0027]图2为德尔福ESR。
[0028]图3为雷达安装角度示意图。
[0029]图4为LI
‑
USB30...

【技术保护点】

【技术特征摘要】
1.一种毫米波雷达和相机联合标定方法，其特征在于：所述方法的具体步骤如下：Step1、确定车辆纵向对称平面，并在车身和地面上做出对称平面的标记；Step2、调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行；Step3、标定相机的内参数，标定过程采用张正友标记法，使用相机采集不同角度的标准棋盘格图像，通过MATLAB标定工具计算得到相机的光轴偏移量c
x
、c
y
，焦距f
x
、f
y
；调整相机，使得相机的水平角和横摆角为零，最后进行相机剩余外参数标定；Step4、分别建立雷达投影坐标系、相机投影坐标系、相机坐标系和图像像素坐标系，利用坐标系转换知识，将雷达投影坐标系下检测的目标坐标转换到图像像素坐标系下的坐标。2.根据权利要求1所述的毫米波雷达和相机联合标定方法，其特征在于：所述所使用的毫米波雷达为德尔福ESR，所使用的相机为LI
‑
USB30
‑
AR023ZWDRB。3.根据权利要求1所述的毫米波雷达和相机联合标定方法，其特征在于：所述调整毫米波雷达，使得雷达探测表面的法向量与车辆纵向对称平面平行，方法为在车辆正前方10m和20m处分别放置相同的杆状障碍物作为雷达探测目标，调整雷达横摆角度，当横摆角标定系数k≤0.01m时，认为雷达探测表面的法向量与车辆纵向平面平行，其中：k＝|d1‑
d2|d1和d2为放置车辆正前方的两处障碍物的横向距离。4.根据权利要求1所述的毫米波雷达和相机联合标定方法，其特征在于：Step4中所述雷达投影坐标系的原点为雷达探测中心点在地面上的投影点，x
rw
轴指向车身右侧，y
rw
轴指向车辆前进方...

【专利技术属性】
技术研发人员：王青旺，阴诚，沈韬，曾凯，池永柯，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：