利用激光雷达的相机联合外参标定方法技术

本申请提出利用激光雷达的相机联合外参标定方法

【技术实现步骤摘要】
利用激光雷达的相机联合外参标定方法、系统及存储介质


[0001]本专利技术属于传感器联合标定
，更具体地，涉及一种利用激光雷达的相机联合外参标定方法
、
系统及存储介质
。

技术介绍

[0002]传感器联合标定是自动驾驶感知系统中的必要环节，是后续传感器融合的必要步骤和先决条件，是指将多个传感器的数据进行融合，并对这些传感器进行统一的坐标变换和校准，以实现精确的传感器数据的对齐和配准
。
激光雷达
(Lidar)
和相机
(Camera)
的联合外参标定旨在确定激光雷达和相机之间的相对位置与姿态关系，以实现二者数据的精确对齐和融合
。
这种技术在机器人导航
、
增强现实
、
虚拟现实等领域中得到广泛应用
。
传感器外参标定是确定传感器之间和传感器与世界坐标系之间相对关系的过程
。
传感器之间可能存在平移
、
旋转和姿态等变换关系
。
外参标定可以使用特征点匹配
、
姿态估计或系统标定等方法来获取传感器之间的相对姿态变换
。
[0003]激光雷达和相机的联合外参标定通常使用静态标定法，所述静态标定法是一种基于静态场景的标定方法，在此方法中，需要将激光雷达和相机固定在稳定的位置上，通过采集一组带有标定板的图像和对应的激光雷达点云数据
。
通过提取图像和点云中的特征点，建立它们之间的对应关系，并利用优化算法计算相机和激光雷达之间的外参
。
然而，由于点云噪声的存在使得在利用激光点云在标定板边缘的深度差，拟合边缘点云的几何特征不准确，进而导致标定板的特征点提取不准确，影响激光雷达和相机的联合外参标定
。
此外，在一些现有方法中，激光雷达和相机的联合外参标定需要用到
ring id(
用于标识点云数据所属的环
)
，由于不同类型激光雷达扫描方式的不同，一些类型的激光不存在
ring id
这一参数，使得现有方法不能适用，通用性不高
。

技术实现思路

[0004]本专利技术为克服上述现有技术中存在的技术问题，提供了利用激光雷达的相机联合外参标定方法
、
系统及存储介质，利用激光雷达的反射强度，准确地提取激光点云特征点，实现更加准确的标定板的特征点提取
。
[0005]本申请实施例第一方面提供了利用激光雷达的相机联合外参标定方法，包括以下步骤：
[0006]S1
：获取棋盘格的图像信息，基于所述图像信息计算得到棋盘格特征点
2D
位置；
[0007]S2
：获取点云数据，根据所述点云数据得到候选点云聚类，通过棋盘格模板生成棋盘格模板特征点；
[0008]S3
：根据所述候选点云聚类和棋盘格模板，利用点云反射强度信息获取棋盘格标定板点云，计算棋盘格标定板点云和棋盘格模板间的变换矩阵，根据所述变换矩阵获取棋盘格特征点作为棋盘格特征点
3D
位置；
[0009]S4
：据所述棋盘格特征点
2D
位置和棋盘格特征点
3D
位置获取相机的位姿信息实现
相机的外参标定
。
[0010]本方案中通过在提取棋盘格特征点
3D
位置时，利用棋盘格上点云反射率不同，将所有点云与棋盘格模板进行匹配，提高与棋盘格模板的匹配精度，进而提高特征点准确性，同时通过棋盘格模板匹配的方式可以获取所有黑白格的交界点，获得更多的特征点，这样可以进一步提高利用激光雷达和相机的联合外参标定精度
。
[0011]优选地，上述基于所述图像信息计算得到棋盘格特征点
2D
位置，包括：
[0012]将图像信息转换为灰度图，提取棋盘格标定板上的所有角点作为棋盘格特征点
2D
位置；
[0013]所述提取棋盘格标定板上的所有角点的方式至少包括：亚像素级角点检测方法
、Harris
角点检测算法和
/
或
Shi
‑
Tomasi
角点检测算法
。
[0014]优选地，所述根据所述点云数据得到候选点云聚类，包括：
[0015]使用点云数据构建
KD
树结构，计算每个点周围的点云密度并进行筛选，将筛选后的点云分割成候选点云聚类；
[0016]其中，根据实际情况调整点云第一密度阈值，筛选点云密度大于所述点云第一密度阈值的点云，过滤点云密度小于所述点云第一密度阈值的点云；
[0017]稀疏区域的点云可能包含噪声或无效数据；通过过滤点云密度小于阈值的点云，可以降低噪声的影响，提高点云的质量和准确性
。
[0018]优选地，所述通过棋盘格模板生成棋盘格模板特征点，包括：
[0019]获取棋盘格标定板真实尺寸和每个格子尺寸，生成棋盘格模板；
[0020]根据所述棋盘格模板获取棋盘格模板图像，提取特征点并通过特征点的匹配和优化，得到棋盘格模板特征点
。
[0021]优选地，所述根据所述候选点云聚类和棋盘格模板，利用点云反射强度信息获取棋盘格标定板点云，具体为：
[0022]遍历所有候选点云聚类，依次计算棋盘格模板和每个点云聚类的最优变换矩阵
T
及对应的匹配误差
L
，其中，匹配误差
L
最小的为最匹配点云聚类，作为棋盘格标定板点云；
[0023]在一些实施例中，对于每个点云聚类，使用
ICP
算法或其他点云配准算法，计算该点云聚类与棋盘格模板之间的最优变换矩阵
T
；
[0024]所述最优变换矩阵
T
根据最小化匹配误差模型获取，所述匹配误差
L
为点云聚类和模板的对齐程度
L1与点云聚类和模板整体形状的对齐程度
L2之和；
[0025]其中，根据激光点云在棋盘格上反射率不同，白色格呈高反射率，需要与棋盘格模板白格对齐；黑色格呈低反射率，需要与棋盘格模板黑格对齐，对齐程度越高
L1越小；所述
L2反应点云聚类和模板整体形状的对齐程度，对齐程度越高
L2
越小；
[0026]根据原始点云
P
经过最优变换矩阵
T
得到的点
Pi
与所有棋盘格模板特征点中最近点
Ci
的欧式距离
d
计算得到所述模板的对齐程度
L1与所述点云聚类和模板整体形状的对齐程度
L2。
[0027]优选地，所述利用点云反射强度信息获取棋盘格标定板点云，还包括：
[0028]所述模板的对齐程度
...

【技术保护点】

【技术特征摘要】
1.
利用激光雷达的相机联合外参标定方法，其特征在于，包括：
S1
：获取棋盘格的图像信息，基于所述图像信息计算得到棋盘格特征点
2D
位置；
S2
：获取点云数据，根据所述点云数据得到候选点云聚类，通过棋盘格模板生成棋盘格模板特征点；
S3
：根据所述候选点云聚类和棋盘格模板，利用点云反射强度信息获取棋盘格标定板点云，计算棋盘格标定板点云和棋盘格模板间的变换矩阵，根据所述变换矩阵获取棋盘格特征点作为棋盘格特征点
3D
位置；
S4
：根据所述棋盘格特征点
2D
位置和棋盘格特征点
3D
位置获取相机的位姿信息实现相机的外参标定
。2.
根据权利要求1所述利用激光雷达的相机联合外参标定方法，其特征在于，所述基于所述图像信息计算得到棋盘格特征点
2D
位置，包括：将图像信息转换为灰度图，提取棋盘格标定板上的所有角点作为棋盘格特征点
2D
位置
。3.
根据权利要求2所述利用激光雷达的相机联合外参标定方法，其特征在于，所述根据所述点云数据得到候选点云聚类，包括：使用点云数据构建
KD
树结构，计算每个点周围的点云密度并进行筛选，将筛选后的点云分割成候选点云聚类；其中，根据实际情况调整点云第一密度阈值，筛选点云密度大于所述点云第一密度阈值的点云，过滤点云密度小于所述点云第一密度阈值的点云
。4.
根据权利要求3所述的利用激光雷达的相机联合外参标定方法，其特征在于，所述通过棋盘格模板生成棋盘格模板特征点，包括：获取棋盘格标定板真实尺寸和每个格子尺寸，生成棋盘格模板；根据所述棋盘格模板获取棋盘格模板图像，提取特征点并通过特征点的匹配和优化，得到棋盘格模板特征点
。5.
根据权利要求4所述的利用激光雷达的相机联合外参标定方法，其特征在于，所述根据所述候选点云聚类和棋盘格模板，利用点云反射强度信息获取棋盘格标定板点云，具体为：遍历所有候选点云聚类，依次计算棋盘格模板和每个点云聚类的最优变换矩阵
T
及对应的匹配误差
L
，其中，匹配误差
L
最小的为最匹配点云聚类，作为棋盘格标定板点云；所述最优变换矩阵根据最小化匹配误差模型获取，所述匹配误差
L
为点云聚类和模板的对齐程度
L1与点云聚类和模板整体形状的对齐程度
L2之和；其中，根据激光点云在棋盘格上反射率不同，白色格呈高反射率，需要与棋盘格模板白格对齐；黑色格呈低反射率，需要与棋盘格模板黑格对齐，对齐程度越高
L1越小；所述
L2反应点云聚类和模板整体形状的对齐程度，对齐程度越高
L2越小；根据原始点云
P
经过最优变换矩阵
T
得到的点
P
i
与所有棋盘格模板特征点中最近点
C
i
的欧式距离
d
计算得到所述模...

【专利技术属性】
技术研发人员：贾楠，杨鑫，叶晟，刘怡初，彭登富，
申请(专利权)人：成都市卡蛙科技有限公司，
类型：发明
国别省市：