【技术实现步骤摘要】
本专利技术涉及多传感器标定，具体涉及雷达与相机联合标定方法、装置、计算机设备及存储介质。
技术介绍
1、随着自动驾驶和辅助驾驶的快速发展，环境感知技术显得尤为重要，而利用激光雷达和工业相机进行多传感器融合是当前主流的环境感知方案。对车身周围环境进行准确地感知可以及时地、准确地发现行驶过程中的安全隐患，进而可以快速采取安全措施避免交通事故的发生。对于融合感知来说，前提是完成数据层面的融合即找到各个激光雷达点云之间和相机与激光雷达点云之间的对应关系，因此在大多数自动驾驶方案中首先需要完成多传感器的空间坐标统一，确定各个传感器数据空间的坐标转换关系。各个激光雷达所获取的数据均为三维点云，具有相同的数据结构，多激光雷达之间的外参标定主要为确定旋转矩阵以及平移矢量。对于激光雷达和相机的标定来说，需要完成三维坐标到二维坐标之间的转换关系，因此除需要确定激光雷达和相机坐标系之间的外参即旋转矩阵以及平移矢量之外，还需确定相机的内参，完成三维坐标到二维坐标之间的转变。
2、相关技术中，相机和激光雷达联合标定的方法大概可以分为基于特征的方法和基于优化的方法，但大多数标定算法都是针对单个激光雷达和相机进行外参求解，侧重于标定精度的提升。但随着多传感器系统应用的增加，在规模化量产中，难以实现在保证精度的前提下有效地进行多激光雷达和相机的联合提升标定效率。
技术实现思路
1、有鉴于此，本专利技术提供了一种雷达与相机联合标定方法、装置、计算机设备及存储介质，以解决难以实现在保证精度的前提下有效地进
2、第一方面，本专利技术提供了一种雷达与相机联合标定方法，应用于若干雷达与相机共同组成的联合系统，方法包括：
3、对各雷达与相机的相对位姿进行调整，形成雷达与相机之间的公共视野区域；
4、在公共视野区域内的靶位设置标定物和标定板，采集标定物和标定板在不同的靶位上的关键数据帧的图像数据与点云数据；
5、基于关键数据帧的图像数据中标定板的位置，对相机的内参进行标定，得到相机坐标系；
6、基于关键数据帧中标定物对应的点云数据，对雷达的外参进行标定，得到雷达坐标系；
7、基于标定物在相机坐标系与雷达坐标系下的坐标，进行相机与雷达的联合标定，得到相机坐标系与雷达坐标系之间的转换关系。
8、在本专利技术中，通过调整多雷达和相机构成的联合系统形成公共视野区域，在公共视野区域内放置标定物与标定板，采集雷达与相机中的标定物与标定板的数据，对相机及雷达进行标定，实现了同时完成雷达到雷达之间和雷达到相机之间的外参及内参标定。通过雷达与相机多个传感器同时采集同一个标定场景下的标定数据并根据标定板点云提取特征完成标定，能够提高多传感器之间的外参标定效率和标定精度，简化了标定流程，有助于满足规模化量产的需求，在保证精度的前提下有效地进行多激光雷达和相机的联合，提升了标定效率，进一步提高了用户的使用体验。
9、在一种可选的实施方式中，采集标定物和标定板在不同的靶位上的关键数据帧的图像数据与点云数据，包括：
10、利用雷达采集得到标定物在不同的靶位上对应的点云数据，利用相机采集得到标定板在不同的靶位上对应的图像数据；
11、采集雷达的雷达时间戳数据和相机的相机时间戳数据；
12、将雷达时间戳数据与相机时间戳数据进行时间轴匹配，计算得到雷达时间戳数据与相机时间戳数据之间的时间差；
13、基于时间差，对雷达与相机进行时间同步，匹配得到同一时刻的点云数据与图像数据；
14、基于同一时刻的点云数据与图像数据，筛选得到关键数据帧，确定关键数据帧的图像数据与点云数据。
15、在该方式中，通过对雷达与相机采集的数据进行时间同步，便于实现关键数据帧的选取，进而有利于后续利用关键数据帧的图像数据进行相机标定及利用关键数据帧的点云数据进行雷达标定。
16、在一种可选的实施方式中，基于同一时刻的点云数据与图像数据，筛选得到关键数据帧，包括：
17、选取第一数据帧的图像数据作为初始关键帧，从初始关键帧开始依次计算每一数据帧的图像数据与相邻数据帧的图像数据之间的结构相似性；
18、判断当前数据帧的图像数据与相邻数据帧的图像数据之间的结构相似性是否大于预设阈值；
19、在当前数据帧的图像数据与相邻数据帧的图像数据之间的结构相似性大于预设阈值时，确定当前数据帧为关键数据帧；
20、在当前数据帧的图像数据与相邻数据帧的图像数据之间的结构相似性小于预设阈值时，将当前帧的图像数据及对应的点云数据去除；
21、遍历直至所有图像数据对应的数据帧计算完成。
22、在该方式中，通过选取得到关键数据帧，滤除了非关键数据帧的数据，进一步提升了数据的准确性，有利于提升标定效率和标定精度。
23、在一种可选的实施方式中，基于关键数据帧的图像数据，对相机的内参进行标定，得到相机坐标系，包括：
24、基于关键数据帧的图像数据中的标定板的像素坐标与标定板的世界坐标，得到相机的内参与世界坐标系之间的第一转换关系；
25、获取相机的内参与外参的乘积构造的单应性矩阵；
26、对单应性矩阵与第一转换关系联立求解，得到单应性矩阵与相机的内参及外参之间的第二转换关系；
27、利用单应性矩阵构建对称矩阵，对对称矩阵进行求解，得到相机的内参；
28、基于相机的内参与第二转换关系，求解得到相机的外参，基于相机的内参与外参确定相机坐标系。
29、在该方式中，通过利用相机采集得到的标定板的图像数据及标定板在世界坐标系的坐标，求解得到相机的内参及外参，共同构成相机坐标系，便于实现相机坐标系与雷达坐标系的联合标定。
30、在一种可选的实施方式中，基于关键数据帧的点云数据，对雷达的外参进行标定，得到雷达坐标系，包括：
31、对关键数据帧的点云数据中提取得到标定物点云；
32、设置主雷达，将主雷达对应的雷达坐标系作为目标坐标系，并设置其余雷达至主雷达之间的初始雷达外参；
33、基于初始雷达外参，对标定物点云在主雷达中的第一点集与标定物点云在其余雷达中的第二点集进行配准，得到变换点集；
34、基于变换点集，构建目标函数，对目标函数进行求解，得到第三转换关系；
35、基于第三转换关系对变换点集进行坐标转换，得到第二变换点集；
36、基于第二变换点集，对目标函数进行迭代求解，得到雷达坐标系。
37、在该方式中，通过设置主雷达及其余雷达至主雷达的初始雷达外参，配准得到变换点集，构建目标函数，对变换点集进行转换后，利用转换后的变换点集对目标函数进行迭代求解，得到雷达坐标系，便于实现相机坐标系与雷达坐标系的联合标定。
38、在一种可选的实施方式中，基于标定物在相机坐标系与雷达坐标系下的坐标，进行相本文档来自技高网...
【技术保护点】
1.一种雷达与相机联合标定方法，其特征在于，应用于若干雷达与相机共同组成的联合系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采集所述标定物和所述标定板在不同的所述靶位上的关键数据帧的图像数据与点云数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于同一时刻的所述点云数据与所述图像数据，筛选得到所述关键数据帧，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述关键数据帧的图像数据，对所述相机的内参进行标定，得到相机坐标系，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述关键数据帧的点云数据，对所述雷达的外参进行标定，得到雷达坐标系，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述标定物在所述相机坐标系与所述雷达坐标系下的坐标，进行所述相机与所述雷达的联合标定，得到所述相机坐标系与所述雷达坐标系之间的转换关系，包括：
7.一种雷达与相机联合标定装置，其特征在于，所述装置包括：
8.一种计算机设备，其特征在于，包括：
10.一种计算机程序产品，其特征在于，包括计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的雷达与相机联合标定方法。
...【技术特征摘要】
1.一种雷达与相机联合标定方法，其特征在于，应用于若干雷达与相机共同组成的联合系统，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采集所述标定物和所述标定板在不同的所述靶位上的关键数据帧的图像数据与点云数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于同一时刻的所述点云数据与所述图像数据，筛选得到所述关键数据帧，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述关键数据帧的图像数据，对所述相机的内参进行标定，得到相机坐标系，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述关键数据帧的点云数据，对所述雷达的外参进行标定，得到雷达坐标系，包括：
【专利技术属性】
技术研发人员：夏雪，高嵩，王玉玖，牛少锋，朱令乾，
申请(专利权)人：国汽北京智能网联汽车研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。