一种用于激光雷达与相机的联合标定方法技术

本发明专利技术公开了一种用于激光雷达与相机的联合标定方法，包括如下步骤：1)通过相机检测模块，分别对相机的曝光度和焦距参数进行检测和调整，使其均能够达到预定的阈值范围内，以确保标定结果的准确性；2)通过静止帧检测模块，对处于运动状态下的标定板进行静止帧检测，选择若干帧满足要求的相机图像组成静止帧集合{S}，为后续激光雷达与相机的数据采集做准备；3)通过联合标定模块，首先对相机内参进行标定，然后在采集到标定板的3D空间坐标和2D像素坐标后，根据二者之间的转换关系求得最终的联合标定结果。本发明专利技术选用正方形单色板作为标定板，在整个过程中能够自动进行设备参数调整、数据帧选择、以及标定结果的计算，无需人工干预。干预。干预。

【技术实现步骤摘要】
一种用于激光雷达与相机的联合标定方法


[0001]本专利技术涉及多传感器融合标定领域，具体地说，涉及一种用于激光雷达与相机的联合标定方法。

技术介绍

[0002]随着计算机与机器视觉技术的快速发展，对于移动机器人的研究也日益成为了机器人学领域的热点和难点。移动机器人在运动过程中对外部环境的感知必须通过传感器进行获取，其中，相机与激光雷达是使用频率最高的两种传感器。对于视觉相机而言，虽然具有丰富的色彩信息，且分辨率较高，但其对光照特别敏感；而激光雷达虽然不受光照条件影响且能够提供精确的几何信息，但其分辨率和刷新率低。因此，仅凭单个传感器采集到的数据往往无法给移动机器人提供足够清晰准确的环境信息，进而需要采取多传感器融合的方案，融合技术的前提则是实现多传感器之间的参数校准。
[0003]现有的联合标定方法大多没有明确阐述在数据采集前对视觉设备的检测与调整工作，忽略了硬件参数对于标定结果的重要影响；在标定过程中往往会将标定板静置于若干个预定的待测位置进行数据采集，这使得效率较低，且标定结果不具有很好的普遍性；在一些标定方法中还需要设计复杂的标定装置或特殊几何形状的标定板来协助完成标定操作，且计算过程复杂，不易使用。

技术实现思路

[0004]针对现有的技术缺陷，本专利技术提出了一种用于激光雷达与相机的联合标定方法，通过模块化的设计，提出了相机参数检测的实施方法，保证了图像数据信息的准确性；并将传统的静置标定板数据采集方式优化为在运动过程中的实时数据筛选与采集；最后利用坐标转换公式求解出激光雷达与相机之间的变换参数矩阵，从而达到二者联合标定目的。整个标定方法实用高效，标定精度高，且更加符合实际需求。
[0005]为达到上述目的，本专利技术采用如下技术方案：
[0006]一种用于激光雷达与相机的联合标定方法，具体包括如下步骤：
[0007]1)通过相机检测模块，分别对相机的曝光度和焦距参数进行检测和调整，使其均能够达到预定的阈值范围内，以确保标定结果的准确性；
[0008]2)通过静止帧检测模块，对处于运动状态下的标定板进行静止帧检测，选择若干帧满足要求的相机图像组成静止帧集合{S}，为后续激光雷达与相机的数据采集做准备；
[0009]3)通过联合标定模块，首先对相机内参进行标定，然后在采集到标定板的3D空间坐标和2D像素坐标后，根据二者之间的转换关系求得最终的联合标定结果。
[0010]进一步地，所述的步骤1)包括以下步骤：
[0011]1‑
1)使用相机拍摄一幅包含有标定板的初始图像；
[0012]1‑
2)对获取到的相机图像进行角点检测，得到每一个角点在像素坐标系下的位置信息；连接各角点坐标形成标定板的多边形图案，即获得标定板在初始相机图像中的所在
区域；
[0013]1‑
3)计算初始图像中标定板所在区域内像素的平均值RGB，并将其与预设的像素阈值TH进行比较，若像素平均值RGB在阈值TH范围内，转入步骤1
‑
4)；否则，向相机发送信号以自动调整相机的曝光度参数，并重新进行图像采集；
[0014]1‑
4)使用调整好曝光度的相机拍摄，获取一幅包含有标定板的全新图像；
[0015]1‑
5)对获取到的相机图像再次进行角点检测，以获得标定板在相机图像中的区域信息；
[0016]1‑
6)利用Tenengrad梯度方法对相机图像中标定板所在的区域进行清晰度打分，该方法基于Sobel算子分别在水平和垂直方向上计算梯度值，并将处理后的平均灰度值作为图像清晰度的衡量指标，若平均灰度值在预设的阈值范围内([T1,T2])，则表示相机对焦良好，完成相机曝光度和清晰度的检测和调整工作；否则，向相机发送信号以调整相机焦距，并重新进行图像采集。
[0017]进一步地，所述的步骤2)包括以下步骤：
[0018]2‑
1)将激光雷达与相机固定在同一基座上组成待标定传感器模块，保证基座固定及三者的相对位置不发生变化，并保证激光雷达的探测范围和相机的视野具有60％以上的重叠区域；
[0019]2‑
2)选择正方形形状的单色板作为标定板，将标定板在激光雷达与相机视野的重合范围内进行运动，运动过程包括平移和旋转的变化；
[0020]2‑
3)定义标定板坐标系记作O
B
，亦为世界坐标系O
W
，选定标定板左上角角点作为标定板坐标系的原点，两侧直角边指向作为标定板坐标系的X/Y轴方向，根据右手定则确定Z轴方向；根据正方形标定板的实际尺寸计算得标定板各角点在O
B
中的坐标P
B
，亦为P
W
；
[0021]2‑
4)根据坐标P
B
和角点在像素坐标系中的坐标P
px
，利用EPnP算法求得标定板坐标系到相机坐标系的转换矩阵对运动过程中相机采集到的每一帧图像数据进行处理，获得标定板到相机的转换矩阵列表
[0022]2‑
5)对于任意一帧相机图像，确定其在前后两个时刻之间标定板的运动量；首先选取第i帧相机图像中标定板坐标系上的任意一点P
Bi
，利用方程求得选定点P
Bi
在第j帧相机图像中的投影位置P'
Bj
；若标定板在前后两个时刻没有发生相对运动，则T
i
＝T
j
，即P'
Bj
＝P
Bi
；否则，通过方程式求得P'
Bj
与其在第j帧相机图像中的实际位置P
Bj
之间的差值，即为标定板在这两个时刻间的位移量；
[0023]2‑
6)对相邻数据帧进行比较，选取运动变化满足要求的数据帧作为静止帧；对于一块标定板，其包括一个角点列表C＝{X
n
}，通过方程式m(C,i,j)＝maxd(X
ni
,X
nj
)确定标定板的最终位移情况；根据方程式m(C,i
‑
1,i)<x&&m(C,i,i+1)<x，遍历每一帧相机图像，当且仅当某一帧的运动相较于相邻帧小于阈值位移时，选择该帧作为静止帧；且选定的静止帧还需保证能散布在激光雷达与相机视野的重合区域内，即满足：m(C,s
i
,s
j
)>y，其中s
i
,s
j
∈{S}，x＝1cm，y＝300cm，集合S为已选定的静止帧集合。
[0024]进一步地，所述的步骤3)包括以下步骤：
[0025]3‑
1)对相机的内参进行标定，得到其中矩阵K表示相机的内参数，f
x
,f
y
表示焦距，c
x
,c
y
表示主点偏移量；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于激光雷达与相机的联合标定方法，其特征在于，具体包括如下步骤：1)通过相机检测模块，分别对相机的曝光度和焦距参数进行检测和调整，使其均能够达到预定的阈值范围内，以确保标定结果的准确性；2)通过静止帧检测模块，对处于运动状态下的标定板进行静止帧检测，选择若干帧满足要求的相机图像组成静止帧集合{S}，为后续激光雷达与相机的数据采集做准备；3)通过联合标定模块，首先对相机内参进行标定，然后在采集到标定板的3D空间坐标和2D像素坐标后，根据二者之间的转换关系求得最终的联合标定结果。2.根据权利要求1所述的用于激光雷达与相机的联合标定方法，其特征在于，所述的步骤1)包括以下步骤：1
‑
1)使用相机拍摄一幅包含有标定板的初始图像；1
‑
2)对获取到的相机图像进行角点检测，得到每一个角点在像素坐标系下的位置信息；连接各角点坐标形成标定板的多边形图案，即获得标定板在初始相机图像中的所在区域；1
‑
3)计算初始图像中标定板所在区域内像素的平均值RGB，并将其与预设的像素阈值TH进行比较，若像素平均值RGB在阈值TH范围内，转入步骤1
‑
4)；否则，向相机发送信号以自动调整相机的曝光度参数，并重新进行图像采集；1
‑
4)使用调整好曝光度的相机拍摄，获取一幅包含有标定板的全新图像；1
‑
5)对获取到的相机图像再次进行角点检测，以获得标定板在相机图像中的区域信息；1
‑
6)利用Tenengrad梯度方法对相机图像中标定板所在的区域进行清晰度打分，该方法基于Sobel算子分别在水平和垂直方向上计算梯度值，并将处理后的平均灰度值作为图像清晰度的衡量指标，若平均灰度值在预设的阈值范围内([T1，T2])，则表示相机对焦良好，完成相机曝光度和清晰度的检测和调整工作；否则，向相机发送信号以调整相机焦距，并重新进行图像采集。3.根据权利要求1所述的用于激光雷达与相机的联合标定方法，其特征在于，所述的步骤2)包括以下步骤：2
‑
1)将激光雷达与相机固定在同一基座上组成待标定传感器模块，保证基座固定及三者的相对位置不发生变化，并保证激光雷达的探测范围和相机的视野具有60％以上的重叠区域；2
‑
2)选择正方形形状的单色板作为标定板，将标定板在激光雷达与相机视野的重合范围内进行运动，运动过程包括平移和旋转的变化；2
‑
3)定义标定板坐标系记作O
B
，亦为世界坐标系O
W
，选定标定板左上角角点作为标定板坐标系的原点，两侧直角边指向作为标定板坐标系的X/Y轴方向，根据右手定则确定Z轴方向；根据正方形标定板的实际尺寸计算得标定板各角点在O
B
中的坐标P
B
，亦为P
W
；2
‑
4)根据坐标P
B
和角点在像素坐标系中的坐标P
px
，利用EPnP算法求得标定板坐标系到相机坐标系的转换矩阵对运动过程中相机采集到的每一帧图像数据进行处理，获得标定板到相机的转换矩阵列表2
‑
5)对于任意一帧相机图像，确定其在前后两个时刻之间标定板的运动量；首先选取
第i帧相机图像中标定板坐标系上的任意一点P
Bi
，利用方程求得选定点P
Bi
在第j帧相机图像中的投影位置P
′
Bj
...

【专利技术属性】
技术研发人员：徐嘉骏，刘吉成，辛绍杰，
申请(专利权)人：上海大学，
类型：发明
国别省市：