一种全景环带相机与激光雷达联合标定的方法技术

本发明专利技术公开了一种全景环带相机与激光雷达联合标定的方法，包括：S1.获取激光雷达的点云数据以及全景环带图像数据；S2.根据全景环带图像数据标定全景环带相机，得到相机参数；S3.提取所有标定板上的点云数据，得到平面方程；S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并进行归一化处理；S5.计算每块标定板在全景环带相机坐标系下的法向量，并进行归一化处理；S6.将标定板点云数据法向量和图像数据法向量根据标定结果投影至全景环带图像上，并记录各自编号及像素坐标；S7.基于记录的编号，采用最小二乘法进行拟合，得到拟合后的法向量的像素坐标；S8.计算旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。合标定。合标定。

【技术实现步骤摘要】
一种全景环带相机与激光雷达联合标定的方法


[0001]本专利技术涉及车载全景感知与移动机器人的
，尤其涉及一种全景环带相机与激光雷达联合标定的方法。

技术介绍

[0002]激光雷达作为各类家用智能机器人、服务机器人、无人小车和车载自动驾驶系统的传感器，具有高精度的测距能力，可以准确快速地获取环境物体的相对空间坐标。全景环带相机有一颗全景环形透镜(Panoramic Annular Lens，PAL)的二次反射镜头，能够以单目的方式实现水平360
°
光学信息的记录，可以以一次成像的方式获取环境物体的颜色信息。360
°
激光雷达提供全向的距离信息但是信息度单一，分辨率不高；全景环带相机提供RGB图像，分辨率高，但是没有距离信息。将二者结合，发挥各自传感能力的优势，将三维点精确映射到全景环带图像上，形成全景环带与激光雷达融合系统，可以输出更高维度的传感器信息，用以解决三维建图、物体识别等各类环境感知问题。
[0003]现有技术中，申请号为201010223750.7的专利文献公开了一种单线激光雷达和CCD相机相互关系的标定方法，基于CCD相机可以弱成像单线激光雷达使用的红外光源的这一条件。首先，在立方体标定键辅助下提取位于扫描面内的虚拟控制点；然后，使用红外滤光片滤掉可见光，仅使红外光成像，然后对有扫描线信息的红外图像进行增强、二值化处理再进行Hough变换，提取两条激光扫描线，扫描线交点即为虚拟控制点在图像中的像坐标。
[0004]公开号为CN106556825A的专利公开了一种全景视觉成像系统的联合标定方法。该联合标定方法利用多光束激光雷达和视觉相机针对同一目标景物所采集图像的法向量在空间内平行的原理，建立两幅图像的之间的映射关系，从而实现多光束激光雷达点云图像和视觉相机图像间的联合标定。虽然上述方法可以实现相机和雷达之间的联合标定，但是上述专利采用多个相机，其需要将激光雷达轴线和相机光心垂直，且还要转到完全一样的角度，存在操作复杂，很难在实际中应用的问题。

技术实现思路

[0005]本专利技术的目的是针对现有技术的缺陷，提供了一种全景环带相机与激光雷达联合标定的方法。
[0006]为了实现以上目的，本专利技术采用以下技术方案：
[0007]一种全景环带相机与激光雷达联合标定的方法，包括全景环带相机、激光雷达、棋盘格的标定板，所述全景环带相机置于激光雷达上方，且全景环带相机的光轴与激光雷达的旋转轴重合；标定板置于全景环带相机与激光雷达的共视区域；所述标定板上设有编号；
[0008]标定方法包括：
[0009]S1.获取激光雷达的点云数据以及全景环带相机的全景环带图像数据；
[0010]S2.根据全景环带图像数据标定全景环带相机，得到全景环带相机的相机参数；
[0011]S3.提取激光雷达的点云数据中所有标定板上的点云数据，并对提取出的点云数
据使用最小二乘法得到每块标定板在激光雷达坐标系下的平面方程；
[0012]S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并对计算得到的激光雷达点云数据的法向量进行归一化处理；
[0013]S5.计算每块标定板在全景环带相机坐标系下的法向量，并对计算得到的全景环带相机图像数据的法向量进行归一化处理；
[0014]S6.将归一化处理后的标定板点云数据法向量和全景环带图像数据法向量根据标定结果投影至全景环带图像上，并记录标定板在全景环带图像、点云数据下对应法向量的各自编号及像素坐标；
[0015]S7.基于记录的编号，采用最小二乘法对归一化处理后标定板的点云数据法向量和归一化处理后标定板的全景环带图像数据法向量进行拟合，得到拟合后的标定板点云数据法向量和全景环带图像数据法向量的像素坐标；
[0016]S8.计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。
[0017]进一步的，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：
[0018]Z＝AX+BY+C
ꢀꢀꢀ
(1)
[0019]其中，X、Y、Z表示空间坐标；A、B、C表示平面方程系数。
[0020]进一步的，所述步骤S3中还包括对每块标定板在激光雷达坐标系下的平面方程进行求解，得到最小二乘解；具体为：
[0021]平面方程的代价函数表示为：
[0022]S＝∑(Ax
i
+By
i
+C
‑
z
i
)2ꢀꢀꢀ
(2)
[0023]其中，S表示代价函数；
[0024]对A、B、C分别求偏导并整理，表示为：
[0025][0026]其中，n表示平面拟合点的总数；
[0027]将激光雷达的点云数据相对应的坐标(x
i
,y
i
,z
i
)代入公式(3)，得到平面方程的A、B、C，即A、B、C为最小二乘解。
[0028]进一步的，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：
[0029]AX+BY+CZ+D＝0
ꢀꢀꢀ
(4)
[0030]其中，A、B、C、D表示平面方程系数；X、Y、Z表示空间坐标。
[0031]进一步的，所述步骤S4中对计算得到的激光雷达法向量进行归一化处理，法向量表示为：
[0032][0033]其中，A、B、C表示平面方程系数。
[0034]进一步的，所述步骤S6中根据标定结果投影至全景环带图像上中的投影数据为：
[0035][0036]其中，c
x
，c
y
表示全景环带相机镜头中心的像素坐标值；Π表示投影函数；p(u,v)表示全景环带图像的像素坐标；P(x,y,z)表示世界坐标；θ、ρ1(θ)分别表示为：
[0037][0038]ρ1(θ)＝a0+a2θ2+a3θ3+
…
+a
N
θ
N
[0039]其中，a
N
表示多项式系数；N表示项数；
[0040]反投影表示为：
[0041][0042]其中，Π
‑1表示反投影函数，d
p
表示三维深度；r、ρ2(r)分别表示为：
[0043][0044]ρ2(r)＝b0+b2r2+b3r3+
…
+b
N
r
N
[0045]其中，b
N
表示多项式系数，N表示项数。
[0046]进一步的，所述步骤S7具体为：
[0047]设全景环带图像法向量的像素坐标为(u
ci
,v
ci
)，点云数据法向量的像素坐标为(u
li
,v
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种全景环带相机与激光雷达联合标定的方法，其特征在于，包括全景环带相机、激光雷达、棋盘格的标定板，所述全景环带相机置于激光雷达上方，且全景环带相机的光轴与激光雷达的旋转轴重合；标定板置于全景环带相机与激光雷达的共视区域；所述标定板上设有编号；标定方法包括：S1.获取激光雷达的点云数据以及全景环带相机的全景环带图像数据；S2.根据全景环带图像数据标定全景环带相机，得到全景环带相机的相机参数；S3.提取激光雷达的点云数据中所有标定板上的点云数据，并对提取出的点云数据使用最小二乘法得到每块标定板在激光雷达坐标系下的平面方程；S4.计算每块标定板在激光雷达坐标系下的平面方程的法向量，并对计算得到的激光雷达点云数据的法向量进行归一化处理；S5.计算每块标定板在全景环带相机坐标系下的法向量，并对计算得到的全景环带相机图像数据的法向量进行归一化处理；S6.将归一化处理后的标定板点云数据法向量和全景环带图像数据法向量根据标定结果投影至全景环带图像上，并记录标定板在全景环带图像、点云数据下对应法向量的各自编号及像素坐标；S7.基于记录的编号，采用最小二乘法对归一化处理后标定板的点云数据法向量和归一化处理后标定板的全景环带图像数据法向量进行拟合，得到拟合后的标定板点云数据法向量和全景环带图像数据法向量的像素坐标；S8.计算步骤S7中拟合后的点云数据法向量的像素坐标与步骤S6中点云数据法向量的像素坐标之间的旋转矩阵与平移矩阵，完成全景环带相机与激光雷达的联合标定。2.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：Z＝AX+BY+C
ꢀꢀꢀꢀ
(1)其中，X、Y、Z表示空间坐标；A、B、C表示平面方程系数。3.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中还包括对每块标定板在激光雷达坐标系下的平面方程进行求解，得到最小二乘解；具体为：平面方程的代价函数表示为：S＝∑(Ax
i
+By
i
+C
‑
z
i
)2ꢀꢀꢀ
(2)其中，S表示代价函数；对A、B、C分别求偏导并整理，表示为：其中，n表示平面拟合点的总数；将激光雷达的点云数据相对应的坐标(x
i
，y
i
，z
i
)代入公式(3)，得到平面方程的A、B、C，即A、B、C为最小二乘解。
4.根据权利要求1所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S3中得到每块标定板在激光雷达坐标系下的平面方程，表示为：AX+BY+CZ+D＝0
ꢀꢀꢀꢀ
(4)其中，A、B、C、D表示平面方程系数；X、Y、Z表示空间坐标。5.根据权利要求4所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S4中对计算得到的激光雷达法向量进行归一化处理，法向量表示为：其中，A、B、C表示平面方程系数。6.根据权利要求5所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S6中根据标定结果投影至全景环带图像上中的投影数据为：其中，c
x
，c
y
表示全景环带相机镜头中心的像素坐标值；Π表示投影函数；p(u，v)表示全景环带图像的像素坐标；P(x，y，z)表示世界坐标；θ、ρ1(θ)分别表示为：ρ1(θ)＝a0+a2θ2+a3θ3+
…
+a
N
θ
N
其中，a
N
表示多项式系数；N表示项数；反投影表示为：其中，Π
‑1表示反投影函数，d
p
表示三维深度；r、ρ2(r)分别表示为：ρ2(r)＝b0+b2r2+b3r3+
…
+b
N
r
N
其中，b
N
表示多项式系数，N表示项数。7.根据权利要求6所述的一种全景环带相机与激光雷达联合标定的方法，其特征在于，所述步骤S7具体为：设全景环带图像法向量的像素坐标为(u
ci
，...

【专利技术属性】
技术研发人员：王之丰，冯逸鹤，高少华，王佳，
申请(专利权)人：杭州环峻科技有限公司，
类型：发明
国别省市：