一种激光雷达-相机外参自标定方法及装置制造方法及图纸

本申请公开一种激光雷达

【技术实现步骤摘要】
一种激光雷达
‑
相机外参自标定方法及装置


[0001]本申请涉及相机标定领域，具体涉及一种激光雷达
‑
相机外参自标定方法及装置。

技术介绍

[0002]在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与该点在相机图像中位置之间的关系，须建立相机成像的几何模型，这些几何模型的参数就是相机参数，求解相机参数的过程称为相机标定。相机标定的目的是获取相机的内参和外参，并将内参和外参用于相机图像的矫正。
[0003]在相关技术中，相机标定往往需要在本地使用标志物，通过建立标志物上坐标已知的点与相机图像点之间的对应，获得相机模型的内外参数，实现本地标定。但对于一些异地场景的数据采集需求，需要将数据采集设备在使用标志物进行本地标定后，拆分为多个组件运输至目的地，由于重组后数据采集设备的外参与本地标定时获得的外参结果并不相同，而基于标志物的标定工作在异地难以实施，因此在目的地重新组装后进行数据采集工作获得的图片拼接效果较差。

技术实现思路

[0004]有鉴于此，本申请第一方面提供了一种激光雷达
‑
相机外参自标定方法，所述方法包括：
[0005]通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；
[0006]根据所述场景位姿数据获得网格Mesh模型；
[0007]对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像；
[0008]根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，所述顶点可见图像集合中存有每个所述顶点与所述矫正图像之间的可见关系，在与所述顶点存在所述可见关系的所述矫正图像中，所述顶点是可见的；
[0009]根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
[0010]优选地，所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行迭代优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：
[0011]针对每个所述矫正图像，根据所述顶点可见图像集合，确定所述矫正图像中的可见顶点；所述可见顶点为所述Mesh模型中与所述矫正图像具有所述可见关系的顶点；
[0012]针对每个所述可见顶点，根据所述顶点可见图像集合，确定与所述可见顶点具有所述可见关系的所述矫正图像，作为所述矫正图像对应的参考矫正图像；
[0013]对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，计算所述参考外参
矩阵对应的损失函数；
[0014]将符合优化条件的所述损失函数对应的所述参考外参矩阵作为所述优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。
[0015]优选地，所述对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，确定所述参考外参矩阵对应的损失函数包括：
[0016]针对每个所述可见顶点，根据所述可见顶点在所述第k个参考矫正图像中的灰度值与所述可见顶点的标准值，确定所述可见顶点的第k个灰度误差；其中，所述第k个灰度误差与所述第k个参考矫正图像对应，k为大于等于1的整数；
[0017]根据所述矫正图像中所有可见顶点的所述第k个灰度误差，获得所述第k个参考矫正图像对应的第k个损失函数。
[0018]优选地，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：
[0019]根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；
[0020]根据所述图像深度信息，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合。
[0021]优选地，所述对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像包括：
[0022]根据本地标定结果，获得惯性测量单元IMU坐标系与相机坐标系之间的第一变换矩阵；其中，所述相机坐标系是所述鱼眼图像对应的坐标系；
[0023]根据所述Mesh模型中顶点的位置，获得世界坐标系与所述IMU坐标系之间的第二变换矩阵；其中，所述世界坐标系是所述Mesh模型对应的坐标系；
[0024]根据所述第一变换矩阵和所述第二变换矩阵，获得所述世界坐标系与所述相机坐标系之间的第三变换矩阵；
[0025]根据所述第三变换矩阵对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像。
[0026]优选地，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：
[0027]根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；
[0028]根据所述图像深度信息生成深度边界图；
[0029]根据所述第三变换矩阵，将所述Mesh模型中的顶点坐标变换为所述相机坐标系中的顶点相机坐标；
[0030]根据相机内参信息和针孔模型，获得所述顶点相机坐标在图像平面上像素坐标系中的顶点像素坐标；
[0031]根据所述深度边界图和所述顶点像素坐标，对第i个顶点和所述矫正图像进行可见性分析，获得第i个顶点对应的可见图像集合；其中，所述第i个顶点对应的可见图像集合中包括所有对于所述第i个顶点可见的所述矫正图像，i为大于等于1的整数；
[0032]根据所述Mesh模型中每个顶点各自对应的可见图像集合，生成顶点可见图像集
合。
[0033]优选地，所述根据所述图像深度信息生成深度边界图包括：
[0034]将所述图像深度信息绘制成深度图；
[0035]对所述深度图进行高斯滤波后计算所述深度图中像素点的梯度值；
[0036]针对所述深度图中的每个像素点，若所述像素点的梯度值大于梯度阈值，则将所述像素点的像素值设置为第一像素值，若所述像素点的梯度值不大于所述梯度阈值，则将所述像素点的像素值设置为第二像素值；所述第一像素值不等于所述第二像素值；
[0037]根据对所述深度图中每个像素点设置后的像素值，绘制深度边界图。
[0038]优选地，所述方法进一步包括：
[0039]通过线性插值方法，对所述矫正图像进行上采样操作，获得与所述矫正图像所对应的n层图像；其中，所述n层图像中，第1层图像为所述矫正图像，第j+1层图像由所述第j层图像经过所述上采样操作后获得，n为大于1的整数，j为大于等于1的整数；
[0040]所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种激光雷达
‑
相机外参自标定方法，其特征在于，所述方法包括：通过数据采集设备获得场景位姿数据和不同视角的多个鱼眼图像；根据所述场景位姿数据获得网格Mesh模型；对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像；根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合；其中，所述顶点可见图像集合中存有每个所述顶点与所述矫正图像之间的可见关系，在与所述顶点存在所述可见关系的所述矫正图像中，所述顶点是可见的；根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。2.根据权利要求1所述的方法，其特征在于，所述根据所述顶点可见图像集合，对每个所述矫正图像所对应的外参矩阵进行迭代优化，获得优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参包括：针对每个所述矫正图像，根据所述顶点可见图像集合，确定所述矫正图像中的可见顶点；所述可见顶点为所述Mesh模型中与所述矫正图像具有所述可见关系的顶点；针对每个所述可见顶点，根据所述顶点可见图像集合，确定与所述可见顶点具有所述可见关系的所述矫正图像，作为所述矫正图像对应的参考矫正图像；对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，计算所述参考外参矩阵对应的损失函数；将符合优化条件的所述损失函数对应的所述参考外参矩阵作为所述优化结果，并使用所述优化结果调整所述矫正图像对应的相机外参。3.根据权利要求2所述的方法，其特征在于，所述对每个所述参考矫正图像对应的参考外参矩阵进行迭代优化，确定所述参考外参矩阵对应的损失函数包括：针对每个所述可见顶点，根据所述可见顶点在所述第k个参考矫正图像中的灰度值与所述可见顶点的标准值，确定所述可见顶点的第k个灰度误差；其中，所述第k个灰度误差与所述第k个参考矫正图像对应，k为大于等于1的整数；根据所述矫正图像中所有可见顶点的所述第k个灰度误差，获得所述第k个参考矫正图像对应的第k个损失函数。4.根据权利要求1所述的方法，其特征在于，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合包括：根据所述Mesh模型和所述矫正图像，获得图像深度信息；其中，所述图像深度信息中包括所述Mesh模型中的每个顶点与采集所述鱼眼图像的相机之间的距离；根据所述图像深度信息，对所述Mesh模型中的每个顶点进行可见性分析，获得顶点可见图像集合。5.根据权利要求1所述的方法，其特征在于，所述对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像包括：根据本地标定结果，获得惯性测量单元IMU坐标系与相机坐标系之间的第一变换矩阵；其中，所述相机坐标系是所述鱼眼图像对应的坐标系；
根据所述Mesh模型中顶点的位置，获得世界坐标系与所述IMU坐标系之间的第二变换矩阵；其中，所述世界坐标系是所述Mesh模型对应的坐标系；根据所述第一变换矩阵和所述第二变换矩阵，获得所述世界坐标系与所述相机坐标系之间的第三变换矩阵；根据所述第三变换矩阵对所述多个鱼眼图像分别进行畸变矫正，获得所述多个鱼眼图像各自对应的矫正图像。6.根据权利要求5所述的方法，其特征在于，所述根据所述Mesh模型和所述矫正图像，对所述Mesh模型中的每个顶点进行可见性分析，获得...

【专利技术属性】
技术研发人员：赵政然，付兴银，
申请(专利权)人：北京爱笔科技有限公司，
类型：发明
国别省市：